CESM2笔记——porting-新机器移植
CESM2相比CESM1_2_2更新了很多,尤其是我要用的CAM-chem,所以打算重新porting。一開始一點也不懂自己瞎搞,一直理不清頭緒,網頁太多,自己看來看去抓不到重點。后來請教了一位師姐,磕磕絆絆各種弄環境、debug,弄了好久,終于測試通了第一個case,哇哇哭出來。。。這會兒來做些筆記,就記錄一下最核心的流程。
我這里是在曙光機器LASG上移植。
step1:下載CESM2 code
官方網址:https://escomp.github.io/CESM/release-cesm2/downloading_cesm.html
用git clone就可以
checkout_externals這個步驟一定要的,否則下載下來的包是不完整的。
這里有個需要注意的地方:如果在windows環境中git clone下來的CESM2再上傳到LINUX下,很多文件下下來是dos文本文件(用vi編輯器打開:set ff查看;:set ff=unix可以改為unix文件),在linux下讀文件就會報錯。用:set ff=unix可以把文件類型改過來,但指不定哪個讀取又有問題。
所以最好是找個linux系統再git clone。真的這樣會少很多bug!
step2: 設置環境變量: 修改.bashrc
CESM需要很多庫和環境支持。http://esmci.github.io/cime/versions/master/html/users_guide/porting-cime.html
1. 一個MPI運行環境
2. 編譯工具:gmake,cmake
3.netcdf庫4.3版或更高版本
因為CIME是基于python的框架,python當然是必不可少的。
編譯器intel或gnu,hdf5…這些最基本的服務器配置就不用說了。
不過在超算中心大部分庫可以用module load,下面是曙光為例我load的庫。其中perl很重要,很多bug問題可能就是perl沒裝對。
如果是個人機器或組內服務器,恕我不才,這些庫估計我也搞不定。。。也許可以參考下這個:https://blog.csdn.net/qq_37512669/article/details/87915996
step3: 改3個xml文件:config_machines.xml,config_compilers.xml,config_batch.xml
tutorial里面有個special talk可以參考:http://www.cesm.ucar.edu/events/tutorials/2019/files/Specialized-edwards.pdf
CESM2包如果已經安裝到自己機器上的話,這三個xml文件位于~/cesm2/cime/config/e3sm/machines路徑下
官方文件可在這里查看:http://esmci.github.io/cime/versions/master/html/xml_files/cesm.html#cimeroot-config-cesm-machines
config_machines.xml:用戶自定義的機器描述。
config_compilers.xml:用戶自定義的編譯器介紹。
config_batch.xml:用戶批處理系統介紹。
這三個文件根據機器不同,設置也不同。需要按機器的配置來設置和多次調試(就是先進行step4,發現哪兒報錯了又回來改這幾個文件)。
step4: 運行四個步驟:create case(生成), setup(設置), build(編譯), run(運行)
官方網址:https://escomp.github.io/CESM/release-cesm2/quickstart.html
step4就到模式工作流了,流程和之前寫的CESM1_2_2(https://blog.csdn.net/qq_27984679/article/details/107099940)基本是一樣的,但是一些compset的名稱變了,以及*.xml中的設置有變化。
舉個例子:
./create_newcase --case /public1/home/pku_jingli2/CESM/cesm2/cime/scripts/FCHIST --compset FCHIST --res f19_g17 --mach hpccube --compiler intel --run-unsupportedcd FCHIST/./case.setup./case.build(這里先去下inputdata,看step5)
./case.submitstep5: 下載inputdata
因為大部分的機器不能連外網,所以check_inputdata --download的功能一般用不了,需要自己去重新下載這些inputdata。
inputdata數據網址:https://svn-ccsm-inputdata.cgd.ucar.edu/trunk/inputdata/
在./case.build之后,在$case/Buildconf下會生成各個模塊需要的input文件,在*list里面。
用python把all_list.txt轉成all_list-short.txt(去掉等號“=”和等號前面的字符)就可以得到文件網址列表
f = open('all_list.txt', 'r') f1 = open('all_list-short.txt','w') for (num,value) in enumerate(f):print ("line number", num+1, "is:", value)head,sq,tail=value.partition('=')print ("line number", num+1, "is:", tail)f1.write(tail) f1.close() f.close()在linux下用wget下載比較方便:
wget --no-check-certificate -c -i all_list-short.txt
下完之后再上傳到inputdata目錄下,由于inputdata下面子目錄太多,手動太麻煩而且容易出錯。下面的代碼就是移動文件到對應正確的目錄,如果該目錄不存在就先創建一個。
f = open('all_list-short.txt', 'r') for (num,value) in enumerate(f):print ("line number", num+1, "is:", value)head,sq,tail=value.partition('inputdata/')list0=tail.strip().split('/')list1=list0[0:-1]str0='/'directory='./'+str0.join(list1)print(directory)if not os.path.exists(directory):os.makedirs(directory)filename=list0[-1].strip()if not os.path.exists(filename):print(filename+' do not exist')continueprint(filename+' do exist, begin move')os.popen('mv '+filename+' '+directory) f.close()核心流程就是上面幾個步驟,step2,3是最重要的,不過我講的有點少,因機器而異,主要我自己也是半桶水,就是記錄一下核心流程,有個概念。
相關教程指路:
1.?CESM移植方法-記錄:https://blog.csdn.net/qq_37512669/article/details/87915996(這個有記錄安裝各種庫)
2.CESM1.2.2移植攻略:http://bbs.06climate.com/forum.php?mod=viewthread&tid=49077(這個有推薦一個startman來安裝各種庫,看著蠻好的,雖然我沒用過)
總結
以上是生活随笔為你收集整理的CESM2笔记——porting-新机器移植的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MySQL被黑客攻击勒索5000美元,幸
- 下一篇: 深度学习中的 Batch_Size,以及