隨著氣候預(yù)測、氣候模擬、智慧氣象、并行計算集群、氣象大數(shù)據(jù)平臺、高性能數(shù)值計算、氣象高性能計算集群的發(fā)展，人類步入全新的人工智能大數(shù)據(jù)時代。
“雷聲大雨點小”“久晴大霧必陰,久雨大霧必晴”……自古以來，人們從云卷云舒、風(fēng)停雨歇中學(xué)會了觀天象，并將這些經(jīng)驗用于出行、農(nóng)事活動中。進入現(xiàn)代社會，天文學(xué)、流體力學(xué)等學(xué)科的快速發(fā)展，氣象站、氣象氣球和衛(wèi)星等工具的利用，人類對氣象的理解邁進了新的臺階。
對于如何增強氣象科技自主創(chuàng)新能力，賦能高質(zhì)量發(fā)展。有專業(yè)人士指出一方面是利用人工智能、大數(shù)據(jù)等技術(shù)把氣象服務(wù)做得更加精細化、準確化;另一方面是創(chuàng)新行業(yè)解決方案，挖掘更多行業(yè)或場景的氣象需求，讓氣象服務(wù)更加緊密結(jié)合生產(chǎn)生活。
大數(shù)據(jù)如何滿足
未來氣象預(yù)報的發(fā)展
超級計算機、大數(shù)據(jù)應(yīng)用將能夠滿足未來氣象預(yù)報在三個關(guān)鍵領(lǐng)域的需求：
管理和利用龐大數(shù)據(jù)集
環(huán)境數(shù)據(jù)的數(shù)據(jù)量和多樣性將以指數(shù)形式成倍增加，將對基礎(chǔ)設(shè)施管理和存儲這些數(shù)據(jù)提出極大的需求，也要求更大計算能力模擬使用。這也為公立和私營機構(gòu)研究人員專業(yè)化服務(wù)提供了新機遇。
提高模型的分辨率
高分辨率模型是一個關(guān)鍵因素，可以更好地評估長期氣候系統(tǒng)狀態(tài)，提高氣象預(yù)報能力，特別是對災(zāi)害性天氣的預(yù)報能力。美國國家大氣研究中心和大學(xué)的研究人員使用超級計算機對于颶風(fēng)的模擬，已經(jīng)提高到500米分辨率，相當于幾個街區(qū)的預(yù)報。
解決技術(shù)障礙
鑒于天氣建模和分析變得更加數(shù)據(jù)密集型，需要更大計算能力，研究人員必須更加關(guān)注性能瓶頸，如內(nèi)存、I / O、互連延遲和帶寬。天氣模擬需要成千上萬微處理器并行運算，突破硬件和軟件的可擴展性限制。此外，可擴展的操作系統(tǒng)、編譯器和應(yīng)用程序庫正在發(fā)揮作用。最終，底層技術(shù)基礎(chǔ)設(shè)施必須緊密集成，支持模擬和分析工作流程。
大數(shù)據(jù)疊加AI算法
天氣實現(xiàn)分鐘即、公里級預(yù)報
在過去，全球廣泛采用的天氣預(yù)報模式是數(shù)值模擬法，通過實驗室內(nèi)的大型計算機作數(shù)值計算，用物理方程表達天氣演變，從而預(yù)測一段時間內(nèi)大氣運動狀態(tài)和氣象。盡管很長一段時間的天氣預(yù)測都是依靠數(shù)值模擬法，但是數(shù)值模擬由于精準度和準確率有限，慢慢達到了瓶頸，難以滿足現(xiàn)代社會的發(fā)展需求。
中國氣象局高級工程師卡贊表示：天氣預(yù)報和人工智能有著天然耦合的關(guān)系。天氣預(yù)報需要大量的、多種多樣的資料，人工智能天生就是處理大數(shù)據(jù)的工具;現(xiàn)有資料的時空數(shù)據(jù)密度不夠，人工智能具有對不完全不確定信息的推斷能力;此外人工智能還可以總結(jié)專家的知識經(jīng)驗，提高平均預(yù)測水平以及利用統(tǒng)計與數(shù)值模式中無法利用的抽象預(yù)報知識等。
人工智能預(yù)測主要的方法是用大量的訓(xùn)練數(shù)據(jù)加上人工智能模型，通過數(shù)據(jù)進行計算優(yōu)化的方法，可以和數(shù)值模擬進行很好的互補。
直接采用端到端的AI技術(shù)，通過長時間收集到的雷達云圖運動的時間序列數(shù)據(jù)及人工智能和模式數(shù)據(jù)的融合，進行預(yù)測云在未來移動的方向、下雨積雨云運動的方向等。
天氣是一個混沌系統(tǒng)，從現(xiàn)有技術(shù)看，不可能實現(xiàn)100%準確，但人工智能、大數(shù)據(jù)等新興技術(shù)的加入，使得預(yù)報結(jié)果與真實情況之間不斷接近，目前已可實現(xiàn)公里級、分鐘級的格點化天氣預(yù)報。
通過人工智能和大數(shù)據(jù)的加持，智慧氣象已經(jīng)在各個領(lǐng)域發(fā)揮作用，其優(yōu)勢也逐漸顯現(xiàn)。與傳統(tǒng)氣象預(yù)測手段相比，人工智能具有數(shù)據(jù)處理能力更強、預(yù)測準確性更高、精細化程度在空間維度達到公里級甚至百米級，時間維度達到分鐘級、并與其他的生產(chǎn)生活相關(guān)的指數(shù)等相結(jié)合。
用好預(yù)報工具
“ 氣象+” 賦能經(jīng)濟社會發(fā)展
人們?nèi)粘５纳a(chǎn)生活與天氣變化之間的關(guān)系密切，而災(zāi)害性天氣對農(nóng)業(yè)、交通、經(jīng)濟、生活等方面影響更加顯著。
國家應(yīng)急管理部發(fā)布的2021年全國自然災(zāi)害基本情況數(shù)據(jù)顯示，2021年全年各種自然災(zāi)害共造成1.07億人次受災(zāi);倒塌房屋16.2萬間，不同程度損壞198.1萬間;農(nóng)作物受災(zāi)面積11739千公頃;直接經(jīng)濟損失3340.2億元。
如何盡量規(guī)避天氣風(fēng)險并利用好天氣為經(jīng)濟社會發(fā)展服務(wù)成為當今社會的一道“必答題”。國務(wù)院印發(fā)的《氣象高質(zhì)量發(fā)展綱要(2022-2035年)》提出，要筑牢氣象防災(zāi)減災(zāi)第一道防線，提高氣象災(zāi)害監(jiān)測預(yù)報預(yù)警能力;提高氣象服務(wù)經(jīng)濟高質(zhì)量發(fā)展水平，實施氣象為農(nóng)服務(wù)提質(zhì)增效行動、海洋強國氣象保障行動、交通強國氣象保障行動、“氣象+” 賦能行動。
在國家層面，氣象科技賦能高質(zhì)量發(fā)展要把氣象技術(shù)觀測設(shè)備，衛(wèi)星觀測站基礎(chǔ)設(shè)備能力提升。對氣象服務(wù)企業(yè)來說，利用好這些設(shè)備和技術(shù)，創(chuàng)新行業(yè)解決方案，賦能各個需求場景和行業(yè)，更深入的為經(jīng)濟社會發(fā)展服務(wù)。
在農(nóng)業(yè)領(lǐng)域，農(nóng)業(yè)是國民經(jīng)濟的基礎(chǔ)，“三農(nóng)”工作與氣象工作息息相關(guān)。墨跡天氣負責人黃渤海表示“在農(nóng)業(yè)種植決策上，通過預(yù)測天氣，農(nóng)民可以選擇合適的時間進行春播秋收，通過判斷整年的氣候情況和水土選擇合適的作物種植，增加產(chǎn)量。耕作后，農(nóng)民可以通過天氣預(yù)報進行防災(zāi)減災(zāi)，減少損失。此外，通過預(yù)測降水情況還可以幫助農(nóng)民減少灌溉成本，提升對水資源的利用效率?！?/FONT>
藍海大腦氣象大數(shù)據(jù)平臺
項目背景
某省是我國受臺風(fēng)、暴雨、干旱、寒潮、大風(fēng)、冰雹、凍害、龍卷風(fēng)等災(zāi)害影響最嚴重地區(qū)之一。在氣象災(zāi)害相對頻發(fā)的情況下，某省氣象局在服務(wù)經(jīng)濟社會發(fā)展中作用日益突出，提高氣象觀測、數(shù)據(jù)共享和精細化預(yù)報水平變得至關(guān)重要。通過與藍海大腦合作，擺脫原有IT基礎(chǔ)構(gòu)架對于氣象工作的限制，實施彈性的統(tǒng)一架構(gòu)，實現(xiàn)了高水平的氣象觀測、預(yù)測和服務(wù)業(yè)務(wù)。
客戶需求
由于天氣預(yù)報模擬具有計算量大、通訊密集、I/O要求高和規(guī)范的模式系統(tǒng)化集成等特點，對高性能計算系統(tǒng)的計算性能有著超高的要求，具體要求表現(xiàn)如下：
● 計算量大
氣象預(yù)報本身具有時效性，要求定時定點自動運行，無需人工干預(yù)。一般每天在固定的2-4個時段運行，每個時段2小時內(nèi)運行完。因此，必須使用計算性能卓越的高性能計算系統(tǒng)來進行并行計算。
● 通訊密集
由于采用并行計算，因此各CPU間的通訊量很大。主要體現(xiàn)在WRF各計算域間的通訊及各類不同數(shù)據(jù)劃分間的通訊。因此，要求本高性能計算系統(tǒng)在具有高性能計算的同時，兼具高性能的通訊網(wǎng)絡(luò)。
● I/O要求高
由于涉及大量的用戶和大量的小文件讀寫，氣象模式對整個系統(tǒng)的IOPS性能有較高要求，存儲系統(tǒng)的穩(wěn)定性和可用性對整個業(yè)務(wù)系統(tǒng)的運行至關(guān)重要，要求存儲系統(tǒng)具有故障自愈功能。另外，考慮到氣象數(shù)據(jù)的周期性訪問特點，需要支持基于策略的分級存儲功能。
● 模式系統(tǒng)集成化
從軟件的處理流程上看，一般分為前處理、主模式和后處理。整個模式系統(tǒng)從前處理到主模式再到后處理，需要系統(tǒng)具有較高的穩(wěn)健性，所以優(yōu)秀的模式軟件應(yīng)用專家支持、硬件級的系統(tǒng)技術(shù)支持，對預(yù)報模式的良好使用也是關(guān)鍵。
解決方案
藍海大腦依托接收的常規(guī)氣象觀探測資料、氣象衛(wèi)星資料、雷達資料、數(shù)值預(yù)報產(chǎn)品等多源數(shù)據(jù)，基于定量反演、機器學(xué)習(xí)、云計算、云存儲、大數(shù)據(jù)分析、 快速循環(huán)同化、虛擬現(xiàn)實等前沿技術(shù)，研發(fā)了具備多元化高性能算力、精準化短臨預(yù)報、一站多源數(shù)據(jù)融合及多樣化氣象服務(wù)等優(yōu)勢的氣象大數(shù)據(jù)平臺，面向整個氣象行業(yè)提供信息化系統(tǒng)頂層設(shè)計、 軟件研發(fā)應(yīng)用、數(shù)據(jù)共享服務(wù)等，同時也向道路、航空、物流、農(nóng)業(yè)等行業(yè)領(lǐng)域開展針對性的精準氣象預(yù)報保障服務(wù)。
藍海大腦為滿足客戶需求，結(jié)合行業(yè)特點從計算節(jié)點、網(wǎng)絡(luò)、存儲、功耗、擴展、散熱等方面出發(fā)，提出完善的解決方案。
● 計算節(jié)點
采用高性能英特爾酷睿系列處理器，計算節(jié)點采用雙路混搭方案。四路計算節(jié)點依靠其突出的計算能力與內(nèi)存容量，可在一臺機器上完成中小模式的處理分析，減少資料預(yù)處理、計算、分析的時間，提高計算效率。
● 高速網(wǎng)絡(luò)
采用高性能專用高速IB網(wǎng)絡(luò)，將計算節(jié)點、管理節(jié)點、登錄節(jié)點全線速互聯(lián)，保證集群通訊網(wǎng)絡(luò)的高性能。并將NAS存儲通過萬兆連入高速網(wǎng)絡(luò)，配合集群并行文件系統(tǒng)，實現(xiàn)全部節(jié)點的數(shù)據(jù)共享。
● 存儲系統(tǒng)
綜合以往存儲硬件解決方案，系統(tǒng)應(yīng)用要求存儲設(shè)備具備的特點及藍海大腦在多年高性能計算領(lǐng)域的實施經(jīng)驗，充分滿足用戶現(xiàn)階段使用及未來擴展需求。
● 低功耗
解決方案不僅強調(diào)整體運算效率，同時強調(diào)單位體積內(nèi)的計算能力以及單位能耗可提供的計算能力。
● 可擴展
計算系統(tǒng)采用機架式服務(wù)器，既可保證節(jié)點內(nèi)的擴展性，又可保證整個集群的橫向擴展性?？傮w上，滿足用戶對未來集群的擴展需求。
● 液冷散熱
藍海大腦液冷服務(wù)器 HD210 H系列突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進行冷卻，其余熱源仍采用風(fēng)冷方式進行冷卻。通過這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時，降低主要熱源 CPU 散熱所耗電能，并增強服務(wù)器可靠性。經(jīng)檢測，采用液冷服務(wù)器配套基礎(chǔ)設(shè)施解決方案的數(shù)據(jù)中心年均 PUE 值可降低至 1.2 以下。
用戶收益
● 資源重新整合，實現(xiàn)更好的業(yè)務(wù)連續(xù)性
通過應(yīng)用的分區(qū)分域部署，顯著提高關(guān)鍵應(yīng)用程序的性能、穩(wěn)定性和容量，從而更好的保障業(yè)務(wù)連續(xù)性。
● 氣象信息分發(fā)服務(wù)更高效
幫助客戶建立更高效、及時的氣象信息分發(fā)服務(wù)，以減輕極端天氣事件對某省社會和經(jīng)濟結(jié)構(gòu)的影響。
● 數(shù)據(jù)安全性提升，人力投入降低
整合后的架構(gòu)將加強災(zāi)難恢復(fù)計劃，降低管理復(fù)雜性和成本，解放氣象局的團隊，使其專注于更具戰(zhàn)略性的任務(wù)。
● 運營敏捷性提升，快速響應(yīng)資源請求
穩(wěn)定、安全的新存儲，可有效地管理和保存大量雷達數(shù)據(jù)。統(tǒng)一的基礎(chǔ)架構(gòu)將有助于優(yōu)化運營敏捷性,使氣象局能夠快速響應(yīng)開發(fā)團隊對資源的請求。
（轉(zhuǎn)載）
