大數(shù)據(jù)典型應(yīng)用——平方公里陣列（SKA）射電望遠(yuǎn)鏡

天文學(xué)關(guān)注有關(guān)宇宙、天體和生命起源的最具有前瞻性的問題，這些問題的突破和解決將極大地推動(dòng)自然科學(xué)基礎(chǔ)理論，促進(jìn)人類科技水平的整體進(jìn)步。

由宏偉科學(xué)目標(biāo)驅(qū)動(dòng)的?SKA?射電望遠(yuǎn)鏡是我國參加的最大的天文領(lǐng)域國際合作大科學(xué)工程。SKA?建成后將成為世界上最大的天文實(shí)驗(yàn)裝置，為人類探索宇宙起源奧秘創(chuàng)造新的機(jī)會(huì)。SKA?由包括中國在內(nèi)的?11?個(gè)正式成員國以及?10?多個(gè)觀察員國參與，建設(shè)和運(yùn)行天文大望遠(yuǎn)鏡已經(jīng)成為一個(gè)國家綜合實(shí)力的真實(shí)體現(xiàn)和重要標(biāo)志。SKA?總部位于英國，SKA?低頻陣列（SKA-low）包括?130?萬個(gè)對(duì)數(shù)周期天線，擬建于澳大利亞西部沙漠；SKA?中頻陣列（SKA-mid）包括?2?500?個(gè)碟形天線，擬建于南非以及南部非洲的無線電寧靜區(qū)域，這兩處是經(jīng)過天文學(xué)家十幾年評(píng)估和測(cè)評(píng)后優(yōu)選出來的最佳臺(tái)址。望遠(yuǎn)鏡的總接收面積高達(dá)?1?平方公里，頻率幾乎連續(xù)覆蓋?50?MHz—20?GHz?的范圍，比目前厘米波段最大的射電望遠(yuǎn)鏡陣的靈敏度提高約?50?倍、巡天速度提高約?10?000?倍。

作為下一代擔(dān)當(dāng)引領(lǐng)作用的射電天文觀測(cè)設(shè)施，SKA?將對(duì)射電天文學(xué)的發(fā)展產(chǎn)生深遠(yuǎn)影響。SKA?的強(qiáng)大觀測(cè)能力體現(xiàn)在其超高靈敏度（mK）、超大視場(chǎng)（數(shù)十度）、超快巡天速度、超高頻率分辨率（kHz）、超高時(shí)間分辨率（納秒）、超高空間分辨率（亞角秒），這些技術(shù)特點(diǎn)使得SKA產(chǎn)生前所未有的超大數(shù)據(jù)量。

SKA?的建設(shè)主要分為兩個(gè)階段：第一階段（SKA1）將按照全規(guī)模的10%?來建造，預(yù)計(jì)?2020?年開建；第二階段（SKA2）將完成其余?90%?建設(shè)工程，不過目前尚未確定具體計(jì)劃。SKA1-low?每個(gè)臺(tái)站的數(shù)據(jù)產(chǎn)生率為?2 Tbps，總的數(shù)據(jù)流是?1?Pb/s。據(jù)此規(guī)模遞推，SKA2?至少產(chǎn)生?10?倍以上的實(shí)時(shí)數(shù)據(jù)流。從上述數(shù)據(jù)可知，SKA?產(chǎn)生的數(shù)據(jù)量是空前巨大的，即使經(jīng)過相關(guān)處理后數(shù)據(jù)量極大降低了，但輸入到科學(xué)數(shù)據(jù)處理器（SDP）的數(shù)據(jù)也達(dá)到了?4?GB/s，是當(dāng)之無愧的科學(xué)大數(shù)據(jù)。SKA?超大規(guī)模的數(shù)據(jù)流需要及時(shí)地以實(shí)時(shí)模式處理掉，否則會(huì)造成整個(gè)數(shù)據(jù)處理管線（pipeline）的堵塞甚至崩潰。采用實(shí)時(shí)模式、多并發(fā)任務(wù)、數(shù)據(jù)流管線系統(tǒng)的處理方式是?SKA?數(shù)據(jù)處理的幾個(gè)典型特點(diǎn)，也是新型科學(xué)大數(shù)據(jù)處理的典型應(yīng)用。

作為史上最大的射電望遠(yuǎn)鏡，SKA?不僅承載孕育世界級(jí)科研成果的使命，而且將產(chǎn)生世界上最大規(guī)模的數(shù)據(jù)，因此我們需要充分認(rèn)識(shí)到?SKA?數(shù)據(jù)處理的巨大挑戰(zhàn)。由于?SKA?工程極其龐大及復(fù)雜，為了攻克關(guān)鍵技術(shù)、降低技術(shù)風(fēng)險(xiǎn)，包括中國在內(nèi)的多個(gè)國家先后建設(shè)了一些探路者和先導(dǎo)項(xiàng)目，每個(gè)項(xiàng)目相當(dāng)于?SKA?總體規(guī)模的?1%?左右，并基于這些先導(dǎo)望遠(yuǎn)鏡開展了相關(guān)的科學(xué)預(yù)研究和技術(shù)攻關(guān)。這些先導(dǎo)設(shè)備在理解?SKA?科學(xué)目標(biāo)、建立和逐步完善天空模型、開發(fā)和測(cè)試數(shù)據(jù)處理軟件、培養(yǎng)急需的人才隊(duì)伍等方面發(fā)揮了積極作用，在?SKA?發(fā)展歷程中處于不可忽視的地位。需要指出的是，盡管如此，這些先導(dǎo)項(xiàng)目的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)不能達(dá)到?SKA1?規(guī)模，因此與建立真實(shí)的驗(yàn)證參考還有一定的距離。