能源行業(yè)邁入大數據時(shí)代

　　隨著(zhù)數據總量的持續增長(cháng)和急速膨脹，大數據時(shí)代已經(jīng)來(lái)臨，石油、電力等能源細分行業(yè)紛紛拉開(kāi)了大數據開(kāi)發(fā)應用的序幕。如何從海量數據中高效獲取信息，有效地深加工并最終得到有用數據是能源企業(yè)涉足大數據的目的。

　　對石油行業(yè)來(lái)說(shuō)，眾多企業(yè)正在把更多的新技術(shù)應用于戰略決策、科技研發(fā)、生產(chǎn)經(jīng)營(yíng)和安全環(huán)保等各個(gè)領(lǐng)域，目的是為了從大數據資源中挖掘更多的財富和價(jià)值。大數據應用是石油行業(yè)信息化深入、IT與業(yè)務(wù)深度融合的必然趨勢，在我國石油石化行業(yè)應用的前景將越來(lái)越廣闊。隨著(zhù)石油儲備的逐步減少，石油石化行業(yè)產(chǎn)業(yè)鏈中的勘探、開(kāi)發(fā)難度日益增大， 信息化的成熟度已經(jīng)成為影響行業(yè)增長(cháng)幅度的首要因素。精準、快速的地質(zhì)勘測成為世界能源巨頭們倚重的核心競爭力之一，其中高性能計算技術(shù)和大數據技術(shù)的應用是關(guān)鍵因素。

　　油氣勘探海量數據處理需要高性能計算

　　目前在石油勘探中最常用的是地球物理方法。地球物理方法是使用現代物理方法進(jìn)行地質(zhì)勘探的方法，包括電法、磁法、重力法、放射性法、地震波法等，其中以地震波法最為重要。為了了解和模擬出地下數千米的地質(zhì)構造，通過(guò)地震波反射方式來(lái)收集海量數據，一般二維數據可達1~2TB，三維數據可高達幾百TB甚至PB級， 然后進(jìn)行大量的密集計算和模擬，計算結果出來(lái)后還要轉換成直觀(guān)的可視畫(huà)面，方便專(zhuān)家對數據進(jìn)行解釋?zhuān)瑸橛蜌忏@井定位提供參考。因此，這些海量數據的處理只有借助高性能計算才能實(shí)現最佳的勘探效益，這也是在石油勘探領(lǐng)域高性能計算需求的主因。

　　由于石油勘探行業(yè)的特殊性和復雜性，石油勘探對高性能計算提出了非常苛刻的要求。過(guò)去十年中，石油勘探計算處理多采用大型機或高性能計算機，但目前高性能計算機系統在計算性能、系統建設與運行成本等方面已經(jīng)面臨著(zhù)許多問(wèn)題。讓石油勘探企業(yè)感到頗為頭痛的問(wèn)題主要集中在三大困境：一是計算能力需求和CPU處理器性能落差越來(lái)越大，目前通過(guò)不斷提高CPU處理器的工作頻率來(lái)提高計算性能的技術(shù)路線(xiàn)已經(jīng)逐步走向其極限；二是石油勘探高速增長(cháng)的數據和存儲擴容越來(lái)越不匹配；三是能耗制約越來(lái)越嚴重，高性能計算機的體積大、耗電多等弱點(diǎn)以及對龐大的計算機房空間需求、空調需求和用電量等已經(jīng)成為石油勘探數據處理的一大挑戰。

　　地震資料數據的大數據特征

　　BGP（中國石油集團東方地球物理公司）是中國石油天然氣集團公司獨資的地球物理專(zhuān)業(yè)化技術(shù)服務(wù)公司，主要從事陸地、淺海地震勘探采集、處理、解釋及物探裝備和軟件研發(fā)，業(yè)務(wù)分布在全球34個(gè)國家，陸上地震勘探市場(chǎng)份額居全球第一位。現擁有2.6萬(wàn)員工，3000多IT人員和300多軟件開(kāi)發(fā)人員，在全球有23個(gè)處理中心，約9萬(wàn)CPU核和80萬(wàn)GPU核，運算能力約2PFlops，存儲容量超過(guò)25PB。

　　中國石油集團東方地球物理公司研究院的總工程師賴(lài)能和先生曾在華為云計算大會(huì )2013上做了《大數據技術(shù)在石油勘探領(lǐng)域的應用》的主題演講，對地震海量數據的采集與處理過(guò)程做了詳細闡釋。

　　石油勘探過(guò)程產(chǎn)生的大數據有自己獨特的“4V”特征：

　　1、數據海量：以BGP為例，每天會(huì )產(chǎn)生大于7TB的生產(chǎn)數據，在地震資料處理過(guò)程中還會(huì )產(chǎn)生大量的中間過(guò)程數據。

　　2、數據來(lái)源單一：地震資料數據是由人工模擬地震波激發(fā)，由定點(diǎn)采集儀器接收和采集到的，數據來(lái)源和數據格式都比較單一。

　　3、計算量大：以BGP為例，54TB的原始數據通過(guò)4000個(gè)CPU 的計算集群處理，需要50多天時(shí)間。

　　4、處理流程復雜：地震資料處理過(guò)程涉及到頻繁的IO和數據庫，操作復雜。

　　地震數據的快速增長(cháng)對于存儲提出了巨大需求，也對傳統的HPC軟硬件架構提出了新的挑戰。

　　華為石油勘探HPC解決方案實(shí)現高計算、大存儲能力

　　針對石油行業(yè)的特點(diǎn)和需求，華為提出了石油勘探HPC解決方案，包含以下幾個(gè)部分：

　　1、計算集群系統

　　計算節點(diǎn)和胖節點(diǎn)采用華為刀片服務(wù)器，提供強大的計算能力，特別是浮點(diǎn)計算能力，以完成地震資料處理中巨大的計算任務(wù)。

　　2、存儲系統

　　存儲部分采用華為OceanStor 9000大數據存儲系統（簡(jiǎn)稱(chēng)OceanStor 9000）。

　　與傳統的NFS和lustre方案不同，OceanStor 9000采用全對稱(chēng)分布式架構，每個(gè)節點(diǎn)都可以提供IO和存儲單元，提供業(yè)務(wù)訪(fǎng)問(wèn)、數據處理和存儲的能力，因此可以輕松完成節點(diǎn)擴容，實(shí)現系統性能和容量的線(xiàn)性擴展。

　　其全對稱(chēng)Scale-out架構，通過(guò)集群模式、自動(dòng)負載均衡、全局緩存等技術(shù)來(lái)整合和管理系統資源，有效提升存儲系統性能，縮短地震資料處理的作業(yè)周期。OceanStor 9000還具備高可靠性和硬件容錯能力，保障作業(yè)正常運行。它還能提供靈活的組網(wǎng)方式，前后端網(wǎng)絡(luò )均支持Infiniband或者10GE以太網(wǎng)高速互聯(lián)，能有效滿(mǎn)足石油勘探HPC場(chǎng)景的高帶寬、低時(shí)延需求

　　3、網(wǎng)絡(luò )互聯(lián)

　　采用計算網(wǎng)絡(luò )、存儲網(wǎng)絡(luò )和管理網(wǎng)絡(luò )分離的方式。計算網(wǎng)絡(luò )采用萬(wàn)兆以太網(wǎng)，承擔并行計算時(shí)的數據通訊。管理網(wǎng)絡(luò )采用千兆以太網(wǎng)，用于HPC集群系統的管理和監控。存儲網(wǎng)絡(luò )采用10GE以太網(wǎng)或40GE的Infiniband網(wǎng)絡(luò )，為主機訪(fǎng)問(wèn)數據文件提供高速的網(wǎng)絡(luò )互聯(lián)。