海量數(shù)據(jù)處理(如何處理PB級(jí)海量數(shù)據(jù)？)

天文學(xué)的核心在于數(shù)據(jù)。隨著我們對(duì)宇宙認(rèn)識(shí)的加深，我們掌握的信息越來越多。下一代天文學(xué)研究的核心挑戰(zhàn)是如何充分研究我們收集到的數(shù)據(jù)。

為了應(yīng)對(duì)這些挑戰(zhàn)，天文學(xué)家開始轉(zhuǎn)向機(jī)器學(xué)習(xí)和人工智能(AI)，希望建立新的工具，快速尋求新的突破。人工智能技術(shù)也在以下四個(gè)方面幫助天文學(xué)家。

發(fā)現(xiàn)這個(gè)星球

發(fā)現(xiàn)行星的方法有很多，但成功率最高的可靠方法是對(duì)凌日現(xiàn)象的研究。所謂凌日，就是當(dāng)一顆系外行星從其軌道運(yùn)行的恒星面前經(jīng)過時(shí)，必然會(huì)遮擋我們可以觀測(cè)到的光線。

通過觀察系外行星的不同軌道，天文學(xué)家構(gòu)建了凌日?qǐng)D像，并使用它們來識(shí)別目標(biāo)行星的實(shí)際特征，如其質(zhì)量、大小和與恒星的距離。美國(guó)宇航局的開普勒望遠(yuǎn)鏡空利用這項(xiàng)技術(shù)取得了巨大成功，它可以同時(shí)觀測(cè)數(shù)千顆恒星，并密切關(guān)注各自行星產(chǎn)生的凌日現(xiàn)象。

當(dāng)行星移動(dòng)到環(huán)繞恒星的前方時(shí)，我們會(huì)看到光線減弱，這就是所謂的凌日現(xiàn)象。

天文學(xué)家可以準(zhǔn)確觀測(cè)凌日現(xiàn)象，但相關(guān)技能需要一段時(shí)間的培養(yǎng)。隨著人們?cè)絹碓街铝τ趯ふ倚碌南低庑行?，僅靠人力很難跟上NASA凌日系外行星調(diào)查衛(wèi)星的捕捉速度。在這方面，AI技術(shù)正好有機(jī)會(huì)大顯身手。

將時(shí)間序列分析技術(shù)——將數(shù)據(jù)作為時(shí)間序列進(jìn)行分析——與AI技術(shù)相結(jié)合，可以成功識(shí)別系外行星信號(hào)，準(zhǔn)確率高達(dá)96%。

引力波

時(shí)間序列模型不僅適用于尋找系外行星，還能有效追蹤宇宙中最具破壞性的災(zāi)難性信號(hào)——黑洞或中子星的坍縮。

當(dāng)這些密度極高的天體坍縮時(shí)，會(huì)在小時(shí)空產(chǎn)生巨大的引力漣漪，人類可以通過測(cè)量地球上出現(xiàn)的微弱信號(hào)來探測(cè)這些漣漪。引力波探測(cè)器合作公司Ligo和Virgo在機(jī)器學(xué)習(xí)的幫助下成功識(shí)別了數(shù)十起此類事件。

在黑洞塌縮模擬數(shù)據(jù)訓(xùn)練的模型的幫助下，Ligo和Virgo團(tuán)隊(duì)能夠在事件發(fā)生的那一刻發(fā)現(xiàn)事件，并向世界各地的天文學(xué)家發(fā)出通知，指導(dǎo)他們及時(shí)將望遠(yuǎn)鏡指向正確的方向。

多變的天空

智利目前正在建設(shè)的維拉魯賓天文臺(tái)一旦正式啟動(dòng)，將能夠每晚進(jìn)行全夜空測(cè)量，一次性收集超過80 TB的圖像數(shù)據(jù)，從而全面觀測(cè)宇宙中的恒星和星系如何隨時(shí)間變化。順便說一下，1 TB代表80億比特。

根據(jù)運(yùn)行計(jì)劃，未來的維拉魯賓天文臺(tái)將收集和處理數(shù)百Pb的數(shù)據(jù)。作為參考，臉書上所有圖像存儲(chǔ)的總空空間約為100 PB，換算成全高清視頻長(zhǎng)度約為700年。

顯然，如此龐大的數(shù)據(jù)量，可能無法登錄服務(wù)器進(jìn)行下載；即使下載完成，內(nèi)容搜索也無法快速完成。

機(jī)器學(xué)習(xí)技術(shù)將幫助我們搜索數(shù)據(jù)內(nèi)容，并突出顯示其中的重要信息。例如，該算法可能會(huì)在圖像中搜索罕見的事件，如超新星爆炸(即恒星生命周期結(jié)束時(shí)的劇烈爆炸)，或者發(fā)現(xiàn)新的類星體。通過訓(xùn)練計(jì)算機(jī)識(shí)別特定天文現(xiàn)象的相應(yīng)信號(hào)，該團(tuán)隊(duì)希望更有效地將正確的數(shù)據(jù)傳遞給正確的研究人員。

引力透鏡

隨著我們收集越來越多的宇宙數(shù)據(jù)，研究人員有時(shí)會(huì)被迫整理和丟棄一些無用的數(shù)據(jù)。那么，我們?nèi)绾巫R(shí)別哪些數(shù)據(jù)是有價(jià)值的，哪些信息可以直接退掉呢？

目前，許多天文學(xué)家高度關(guān)注一個(gè)重要的天體現(xiàn)象——強(qiáng)引力透鏡。具體來說，當(dāng)兩個(gè)星系沿著我們的視頻排列時(shí)，離我們較近的星系的引力將充當(dāng)引力透鏡，放大較遠(yuǎn)的星系的活動(dòng)——產(chǎn)生包括環(huán)、十字架和幽靈在內(nèi)的圖像。

但是，找到這些圖像就像大海撈針一樣——在這個(gè)可預(yù)測(cè)的宇宙海洋中尋找珍貴的時(shí)刻。我們收集的星系圖像越多，搜索就越困難。

2018年，來自世界各地的天文學(xué)家參加了一場(chǎng)強(qiáng)引力透鏡挑戰(zhàn)賽，各方激烈競(jìng)爭(zhēng)，看誰能設(shè)計(jì)出最好的算法來自動(dòng)尋找這種透鏡。

這項(xiàng)挑戰(zhàn)的獲勝者采用了一種稱為卷積神經(jīng)網(wǎng)絡(luò)的模型，它將學(xué)習(xí)使用不同的過濾器來分割圖像內(nèi)容，直到將其準(zhǔn)確分類為是否包含鏡頭效果。令人驚訝的是，這些模型甚至比人類的表現(xiàn)還要好，神經(jīng)網(wǎng)絡(luò)確實(shí)可以發(fā)現(xiàn)一些人類很難注意到的圖像細(xì)節(jié)和細(xì)微差異。

在接下來的十年里，天文學(xué)家將利用薇拉·魯賓天文臺(tái)這樣的新儀器收集數(shù)十億字節(jié)的數(shù)據(jù)，也就是數(shù)千萬億字節(jié)的數(shù)據(jù)。隨著我們對(duì)宇宙的不斷探索，機(jī)器學(xué)習(xí)技術(shù)將成為天文學(xué)家研究工作不可或缺的支撐。

目前上述的內(nèi)容應(yīng)該能夠?yàn)榇蠹医獯鸪龃蠹覍?duì)于海量數(shù)據(jù)處理（PB級(jí)海量數(shù)據(jù)怎么處理）的疑惑了，所以如果大家還想要了解更多的知識(shí)內(nèi)容，也可以關(guān)注本站其他文章進(jìn)行了解哦。

版權(quán)說明：本文由用戶上傳，如有侵權(quán)請(qǐng)聯(lián)系刪除！

標(biāo)簽：