北京2021年8月24日 /美通社/ -- 作為國之重器“500米口徑球面射電望遠鏡”(簡稱:FAST) -- “中國天眼”,向全球發出邀約,各國科學工作者均可以通過在線方式提交觀測申請。是什么“底氣”,讓剛剛正式運行一年多的中國天眼就有如此的大舉措?……這與其不斷優化、擴容、升級其超大規模數據基礎設施有著何種密不可分的關系?
“中國天眼”FAST,作為全球口徑最大、靈敏度最高的射電望遠鏡,以其具備能夠觀測到130多億光年,即接近宇宙邊緣區域的“捕獲”能力,正在試圖回答兩千多年前屈原面對浩瀚宇宙時所發出“問天” -- “圜則九重,孰營度之?惟茲何功,孰初作之?”。
精耕天文級數據 “中國天眼”贏得世界矚目
截至2021年年初,“中國天眼”FAST在經歷調試、試運行到正式開放運行,其觀測服務已累積近6000個機時、發現300多顆脈沖星。基于FAST數據發表的高質量論文達40余篇,其中快速射電暴相關研究成果成功入選《自然》2020年十大科學發現。
正如“中國天眼”FAST之父 -- 南仁東在其與同事所撰寫的“FAST的進展 -- 科學、技術與設備”一文中所指出的,“FAST成功運行離不開一套穩定且高效的觀測模式規劃及數據處理系統。”由此可見,獲得高質量、完整性的天文數據對FAST能否有效支撐科研工作起著至關重要的作用。伴隨著FAST持續、系統的科學產出,它也正在面臨來自數據處理層面的巨大挑戰。
在FAST采用L波段的19波束饋源接收機之后,其每秒最高傳輸基帶數據從此前3GB左右,直接飆升到每秒38G,平均每小時接收到的有效科學數據近3.6TB。隨著FAST步入常規運行,觀測數據量和科學目標的持續增加,FAST多科學目標巡天每天將會產生約500TB的零級未壓縮數據。
面對規模大、來源廣、多樣化、多時相、多尺度、高維度、高復雜性和非結構化等特點的天文大數據,FAST急需構建起一個具備高帶寬數據實時上傳、讀取,存儲以及滿足HPC、AI等不同算力需求的超大規模數據處理平臺。
打破數據處理“限高” FAST實現持續“提速”
繼浪潮存儲首次為“中國天眼”FAST提供高性能和高密度兩種分布式存儲節點后,2021年,浪潮存儲再次為其提供分布式存儲高密度節點。針對“中國天眼”FAST不同階段對巨量天文數據處理的需求,天眼工程師與浪潮存儲一起通過對業務場景需求的深入洞察和研究,共同探索分布式存儲技術在教科研應用場景的方案優化和定制開發,保證了“中國天眼”FAST觀測和研究任務的持續推進。
在“中國天眼”FAST科研數據中心升級過程中,浪潮存儲獨創性地在一套分布式存儲平臺AS13000G5中部署了面向高性能計算和AI應用的H節點和面向高密度場景的M60兩種節點。H節點有效提升了天文大數據處理和分析的效率。與此形成呼應,M60節點憑借接近1PB的單節點容量,為FAST提供了海量存儲空間。
整套分布式存儲平臺實現了冷熱數據分層存儲,全面提升天文大數據存儲、處理和實時分析能力。借助分布式存儲平臺所展開的AI深度學習,實現了對FAST主動反射面進行優化,使預測效率提升至秒級。
浪潮存儲于2021年再次為“中國天眼”FAST提供分布式存儲高密度節點。針對FAST科研數據中心逐步加大對科學用戶開放使用,觀測原始數據和數據分析處理所需的存儲空間日益緊張的迫切需求,浪潮存儲在本次合作中,采用業界首個“多合一”極簡架構,以便確保“中國天眼”FAST持續、高質量的科學產出。
浪潮存儲“多合一”極簡架構實現了在4U空間內最高可承載1PB數據,提供上百GB/s的帶寬資源,具備靈活的在線擴展容量,其最高可擴展至5120節點、數據規模可突破EB級,最終可滿足“中國天眼”未來幾年乃至十幾年的天文大數據存儲和處理需求。
今天,屈原的“圜則九重,孰營度之?惟茲何功,孰初作之?”依然縈繞耳畔,“中國天眼”FAST向全球天文科學家發出邀約,為國際同行提供平臺“觀測時間”,共同仰望天空,探尋星辰大海。