SKA?科學計算的挑戰

與傳統望遠鏡相比，SKA?更像是一個“軟件”望遠鏡，它不僅集成了當代信息計算技術的最新成就，而且提出了新的問題。以?SKA-low?為例，其旨在探測微弱宇宙信號，這些低頻陣列以?10?Pb/s?速度產生出世界上最大規模的數據流，遠遠超出了全世界互聯網的流量。按照?SKA?的數據流規模，估計在建設的第一階段每年需要輸送到區域數據中心進行深度分析的科學數據就達到了每年?300?PB，隨著望遠鏡的全面運行，這個數據量必然會逐步增加。到了?SKA2?階段，從?SKA?天文臺產生的預處理數據的規模將擴展到?SKA?先導項目的?100?倍以上，達到?EB?量級。SKA?兩個最重要的科學方向——宇宙再電離和黑暗時期探測、用脈沖星計時陣精確測量引力，需要積累未校準的原始數據；如果考慮到保存一定時間的原始數據，那么?SKA?天文臺的數據存儲需求將提高至少一個量級。

以?SKA?先導項目?MWA?為例，經過?4?年的運行，MWA?積累了?24?PB?的科學存檔數據。其中一個科學目標是?GLEAM?巡天任務，第一期巡天已經包含了?30?多萬顆星系，存檔數據量達到?1?PB?以上。第二期巡天已經開始，靈敏度提高了?4?倍以上，數據量預期高達?6.5?PB。而?MWA?只占到?SKA-low?規模的?1%，SKA?數據量由此可見一斑。據初步估計，SKA1?階段的科學數據處理器所需要的計算能力為?260?PFlops（即每秒?260?千萬億次浮點運算），相當于我國超級計算機“天河二號”的?8?倍，“神威·太湖之光”的?3?倍。SKA?巨大的計算需求必然對現有科學計算的架構和方式形成巨大沖擊，對?SKA?數據處理問題的解決有助于帶動和提升相關產業的發展，甚至引發革命性變化。

SKA將對除天文學以外的其他眾多學科諸如計算機科學、信息學、電子學等領域帶來極大的促進作用。TB?量級的高速數字化采樣、高速實時數字信號處理對電子行業帶來新的挑戰。長期工作在野外惡劣環境下射頻信號長距離光纖傳輸的頻率同步是孔徑陣列急需解決的技術挑戰之一。大數據長距離的高速寬帶洲際傳輸對目前的科研網絡基礎設施、拓撲結構、通信協議、傳輸端軟件等提出了嚴苛的要求——滿足超高速流式數據處理設計的互聯網絡不是簡單通過增加節點的互聯網口數量和增加節點間的互聯總帶寬能實現的，對這個問題的有效解決也必將促進國內百?GB?甚至?TB?級基礎網絡的布局和建設。

以數據密集型科學計算為特點的?SKA?數據處理對我國的電子、計算機、信號處理行業提出了更高的要求。SKA?科學數據處理應用面臨著“存儲墻”問題，即?I/O?問題，傳輸帶寬是主要的系統瓶頸之一。即使“天河二號”這樣的超算對于?SKA?這類大數據的處理資源也會有不足，同時不便進行突發事件的觀測分析，因此亟待研究適應數據密集型科學計算的新型架構體系。前面講到，SKA?高速海量的輸入數據必須通過實時處理降低后續流程的壓力，海量數據實時處理對軟硬件體系都有特殊設計要求，整個系統的架構設計和集成安裝、超算中心的執行框架和配套軟件算法、數據中心的健康監控、機柜冷卻、總控管理等都會面臨諸多挑戰；而且在建設經費封頂的情況下，既要達到預定的運算能力和實時性要求，還要從運行成本上考慮滿足低功耗的要求。此外海量數據的存儲、歸檔、檢索、運算對超級計算機的完整生態鏈提出了極高的要求。盡管國產?CPU?芯片已經部署在國內大型超算中心，國內科研單位也研發了用于人工智能領域的深度學習處理器芯片；但不容樂觀的是，目前主流的操作系統、存儲系統等軟件生態基本全部來自于國外，最關鍵的軟件生態環境依然遠遠落后國際水平，尚不具備競爭力，“卡脖子”問題依然嚴重，自給自足的能力還不夠。SKA?項目為相關產業的發展提出了強烈的需求驅動。

除了硬件方面的問題，天文應用軟件的目前研發水平也遠遠無法達到SKA的要求。SKA科學數據處理的關鍵算法存在大量對共享資源包括共享文件系統的操作，傳統固定多核的計算機系統在多任務、多并發、多線程并行執行時經常出現資源競爭；如果數據流執行框架不能有效地妥善解決資源調度和分配，嚴重的情況下將導致數據處理流水線停頓。實際上，這一問題在?SKA?先導望遠鏡數據處理中心并不罕見。為此，澳大利亞?ICRAR?研究所和中國科學院上海天文臺針對?SKA?項目聯合研發了名為?Data Activated?流（Liu）Graph Engine（DALiuGE）的數據流執行框架，其采用了“數據驅動”的先進設計理念，比傳統的?HPC“計算驅動”的設計更適合?SKA?科學計算。此外，SKA?科學計算的實際運算效率小于原計劃的?10%，因此其原定理論峰值性能?260 PFlops?無法完成科學數據處理的實際需求。增加超算資源的簡單做法并不切實可行，更加可行的途徑是提高軟件執行效率——效率從?10%?提高到?20%，可以節約?50%?的計算資源以及大幅度降低運行成本。天文學家與計算機專家合作優化代碼，可以數倍地提高算法和程序的運行速度。當務之急是培養既懂天文又懂計算的復合型人才。另一個現實的問題，天文數據處理的軟件也亟待更新換代以滿足未來的需求。目前主要使用的天文軟件大部分在?20?世紀?70—80?年代研發，考慮到天文應用對高速、實時、并行的大數據處理需求，天文學家已經開始使用更先進、更模塊化、支持并行的開發語言，如?C++?或者?Python。使用?C++?開發的?AIPS?軟件的替代版本?CASA?軟件將成為下一代主流射電天文軟件；涉及機器學習、人工智能的程序將以?Python?為優先選型。天文數據處理軟件的研發與天文研究一樣，已經從單打獨斗模式升級為全球化合作集體作戰，比如發現引力波的?LIGO?團隊由?1?000?多位科學家組成，廣泛應用于射電天文處理軟件的?CASA?核心庫也有來自全球近百位人員貢獻代碼及算法；航空母艦式的聯合研究團隊，大兵團作戰模式將成為解決重大科學問題的標準資質。

科學傳播比任何時候都得到重視，“科技創新、科學普及是實現創新發展的兩翼”。未來?SKA?的天文大數據將不僅僅服務于天文學家，也將提供面向公眾的接口。以?SKA?為依托，宣傳科研成果、交流學術思想、普及科技知識、弘揚科學精神，大力推廣基礎科學在公眾間的認知度，提高科研在公眾的普及度。SKA?區域中心將通過虛擬天文臺和“云”的方式讓老百姓以更加便捷的方式接觸科學，在公眾中普及天文學。