地震、海嘯、火山爆發(fā)等自然災(zāi)害給人帶來(lái)嚴(yán)重后果，這些突發(fā)災(zāi)害隨時(shí)隨地都有可能發(fā)生，在自然災(zāi)害面前，我們深知人類(lèi)力量的渺小，但是隨著云計(jì)算、大數(shù)據(jù)以及人工智能等技術(shù)的發(fā)展，我們能夠以睿智和科學(xué)來(lái)抵御自然災(zāi)害。
云計(jì)算怎么預(yù)測(cè)地震？
每年的地震波數(shù)據(jù)量大概是30TB，且總數(shù)據(jù)量達(dá)到PB級(jí)別。由于要相互對(duì)比每一個(gè)地震臺(tái)每個(gè)時(shí)間點(diǎn)的每個(gè)分量數(shù)據(jù)，并且這些計(jì)算量是呈指數(shù)級(jí)增長(zhǎng)的。在這種情況下，大規(guī)模分布式的云計(jì)算似乎成為了唯一的選擇。
云存儲(chǔ)
分布式存儲(chǔ)可以看作分布式計(jì)算的基礎(chǔ)條件。在將要進(jìn)行的計(jì)算中，計(jì)算系統(tǒng)會(huì)對(duì)存儲(chǔ)系統(tǒng)進(jìn)行大規(guī)模的訪問(wèn)。而這些訪問(wèn)必須要平均地打到服務(wù)器上，絕不能存在熱點(diǎn)。
而這還不夠，由于服務(wù)器的硬件故障在大規(guī)模集群中會(huì)變成一個(gè)常態(tài)事件，所以必須做好資源的實(shí)時(shí)調(diào)度和提供故障容忍能力。例如保證在摘掉一塊硬盤(pán)的時(shí)候，其余的硬盤(pán)要迅速用備份數(shù)據(jù)把存儲(chǔ)追齊。
在分布式計(jì)算中，數(shù)據(jù)帶寬成為了一個(gè)重要的參數(shù)。如果把數(shù)據(jù)存儲(chǔ)在自己的服務(wù)器上，僅僅利用云計(jì)算能力進(jìn)行結(jié)果輸出，是不能實(shí)現(xiàn)的。原理很簡(jiǎn)單，分布式計(jì)算的所有服務(wù)器都向一個(gè)存儲(chǔ)單位發(fā)送數(shù)據(jù)讀取請(qǐng)求，帶寬會(huì)被瞬間堵死，再?gòu)?qiáng)大的算力都無(wú)法發(fā)揮。
批量計(jì)算
如何使代碼在云計(jì)算的環(huán)境中發(fā)揮作用是一個(gè)很重要的問(wèn)題。在地震科學(xué)研究方面，通過(guò)一個(gè)通用的接口來(lái)對(duì)云上的計(jì)算進(jìn)行控制。
所提供的計(jì)算接口可以讓單機(jī)程序不做修改就高效執(zhí)行在云環(huán)境下。用戶通過(guò)幾句簡(jiǎn)單的命令就能在云上調(diào)動(dòng)大規(guī)模的計(jì)算資源進(jìn)行分析，而不需要學(xué)習(xí)復(fù)雜的分布式計(jì)算知識(shí)。但云計(jì)算真正的核心技術(shù)，還在于批量計(jì)算的算力調(diào)度之上。
計(jì)算規(guī)模擴(kuò)大之后，就會(huì)造成對(duì)存儲(chǔ)資源的訪問(wèn)非常頻繁，這時(shí)，對(duì)于訪問(wèn)的并發(fā)量的控制就要非常謹(jǐn)慎了。
應(yīng)用有非常多的小I/O請(qǐng)求，如果每一次I/O請(qǐng)求都直接訪問(wèn)云存儲(chǔ)，由此帶來(lái)的延時(shí)會(huì)對(duì)計(jì)算效率造成影響。為了進(jìn)一步優(yōu)化計(jì)算性能，批量計(jì)算采取了分布式緩存的策略，把有可能會(huì)用到的數(shù)據(jù)，提前緩存到計(jì)算節(jié)點(diǎn)周?chē)?。這樣，就可以讓計(jì)算能力不受集群規(guī)模的限制。
原本需要一年計(jì)算時(shí)間的整個(gè)中國(guó)數(shù)千個(gè)地震臺(tái)兩兩之間的五年數(shù)據(jù)的計(jì)算任務(wù)，在云計(jì)算中狂飆，兩天之內(nèi)就計(jì)算完成了。這在云計(jì)算到來(lái)之前是無(wú)法想象的。