能源行業(yè)邁入大數(shù)據(jù)時代
隨著數(shù)據(jù)總量的持續(xù)增長和急速膨脹，大數(shù)據(jù)時代已經(jīng)來臨，石油、電力等能源細分行業(yè)紛紛拉開了大數(shù)據(jù)開發(fā)應用的序幕。如何從海量數(shù)據(jù)中高效獲取信息，有效地深加工并最終得到有用數(shù)據(jù)是能源企業(yè)涉足大數(shù)據(jù)的目的。
對石油行業(yè)來說，眾多企業(yè)正在把更多的新技術(shù)應用于戰(zhàn)略決策、科技研發(fā)、生產(chǎn)經(jīng)營和安全環(huán)保等各個領域，目的是為了從大數(shù)據(jù)資源中挖掘更多的財富和價值。大數(shù)據(jù)應用是石油行業(yè)信息化深入、IT與業(yè)務深度融合的必然趨勢，在我國石油石化行業(yè)應用的前景將越來越廣闊。隨著石油儲備的逐步減少，石油石化行業(yè)產(chǎn)業(yè)鏈中的勘探、開發(fā)難度日益增大， 信息化的成熟度已經(jīng)成為影響行業(yè)增長幅度的首要因素。精準、快速的地質(zhì)勘測成為世界能源巨頭們倚重的核心競爭力之一，其中高性能計算技術(shù)和大數(shù)據(jù)技術(shù)的應用是關(guān)鍵因素。
油氣勘探海量數(shù)據(jù)處理需要高性能計算
目前在石油勘探中最常用的是地球物理方法。地球物理方法是使用現(xiàn)代物理方法進行地質(zhì)勘探的方法，包括電法、磁法、重力法、放射性法、地震波法等，其中以地震波法最為重要。為了了解和模擬出地下數(shù)千米的地質(zhì)構(gòu)造，通過地震波反射方式來收集海量數(shù)據(jù)，一般二維數(shù)據(jù)可達1~2TB，三維數(shù)據(jù)可高達幾百TB甚至PB級， 然后進行大量的密集計算和模擬，計算結(jié)果出來后還要轉(zhuǎn)換成直觀的可視畫面，方便專家對數(shù)據(jù)進行解釋，為油氣鉆井定位提供參考。因此，這些海量數(shù)據(jù)的處理只有借助高性能計算才能實現(xiàn)最佳的勘探效益，這也是在石油勘探領域高性能計算需求的主因。
由于石油勘探行業(yè)的特殊性和復雜性，石油勘探對高性能計算提出了非常苛刻的要求。過去十年中，石油勘探計算處理多采用大型機或高性能計算機，但目前高性能計算機系統(tǒng)在計算性能、系統(tǒng)建設與運行成本等方面已經(jīng)面臨著許多問題。讓石油勘探企業(yè)感到頗為頭痛的問題主要集中在三大困境：一是計算能力需求和CPU處理器性能落差越來越大，目前通過不斷提高CPU處理器的工作頻率來提高計算性能的技術(shù)路線已經(jīng)逐步走向其極限；二是石油勘探高速增長的數(shù)據(jù)和存儲擴容越來越不匹配；三是能耗制約越來越嚴重，高性能計算機的體積大、耗電多等弱點以及對龐大的計算機房空間需求、空調(diào)需求和用電量等已經(jīng)成為石油勘探數(shù)據(jù)處理的一大挑戰(zhàn)。
地震資料數(shù)據(jù)的大數(shù)據(jù)特征
BGP（中國石油集團東方地球物理公司）是中國石油天然氣集團公司獨資的地球物理專業(yè)化技術(shù)服務公司，主要從事陸地、淺海地震勘探采集、處理、解釋及物探裝備和軟件研發(fā)，業(yè)務分布在全球34個國家，陸上地震勘探市場份額居全球第一位。現(xiàn)擁有2.6萬員工，3000多IT人員和300多軟件開發(fā)人員，在全球有23個處理中心，約9萬CPU核和80萬GPU核，運算能力約2PFlops，存儲容量超過25PB。
中國石油集團東方地球物理公司研究院的總工程師賴能和先生曾在華為云計算大會2013上做了《大數(shù)據(jù)技術(shù)在石油勘探領域的應用》的主題演講，對地震海量數(shù)據(jù)的采集與處理過程做了詳細闡釋。
石油勘探過程產(chǎn)生的大數(shù)據(jù)有自己獨特的“4V”特征：
1、數(shù)據(jù)海量：以BGP為例，每天會產(chǎn)生大于7TB的生產(chǎn)數(shù)據(jù)，在地震資料處理過程中還會產(chǎn)生大量的中間過程數(shù)據(jù)。
2、數(shù)據(jù)來源單一：地震資料數(shù)據(jù)是由人工模擬地震波激發(fā)，由定點采集儀器接收和采集到的，數(shù)據(jù)來源和數(shù)據(jù)格式都比較單一。
3、計算量大：以BGP為例，54TB的原始數(shù)據(jù)通過4000個CPU 的計算集群處理，需要50多天時間。
4、處理流程復雜：地震資料處理過程涉及到頻繁的IO和數(shù)據(jù)庫，操作復雜。
地震數(shù)據(jù)的快速增長對于存儲提出了巨大需求，也對傳統(tǒng)的HPC軟硬件架構(gòu)提出了新的挑戰(zhàn)。
華為石油勘探HPC解決方案實現(xiàn)高計算、大存儲能力
針對石油行業(yè)的特點和需求，華為提出了石油勘探HPC解決方案，包含以下幾個部分：
1、計算集群系統(tǒng)
計算節(jié)點和胖節(jié)點采用華為刀片服務器，提供強大的計算能力，特別是浮點計算能力，以完成地震資料處理中巨大的計算任務。
2、存儲系統(tǒng)
存儲部分采用華為OceanStor 9000大數(shù)據(jù)存儲系統(tǒng)（簡稱OceanStor 9000）。
與傳統(tǒng)的NFS和lustre方案不同，OceanStor 9000采用全對稱分布式架構(gòu)，每個節(jié)點都可以提供IO和存儲單元，提供業(yè)務訪問、數(shù)據(jù)處理和存儲的能力，因此可以輕松完成節(jié)點擴容，實現(xiàn)系統(tǒng)性能和容量的線性擴展。
其全對稱Scale-out架構(gòu)，通過集群模式、自動負載均衡、全局緩存等技術(shù)來整合和管理系統(tǒng)資源，有效提升存儲系統(tǒng)性能，縮短地震資料處理的作業(yè)周期。OceanStor 9000還具備高可靠性和硬件容錯能力，保障作業(yè)正常運行。它還能提供靈活的組網(wǎng)方式，前后端網(wǎng)絡均支持Infiniband或者10GE以太網(wǎng)高速互聯(lián)，能有效滿足石油勘探HPC場景的高帶寬、低時延需求
3、網(wǎng)絡互聯(lián)
采用計算網(wǎng)絡、存儲網(wǎng)絡和管理網(wǎng)絡分離的方式。計算網(wǎng)絡采用萬兆以太網(wǎng)，承擔并行計算時的數(shù)據(jù)通訊。管理網(wǎng)絡采用千兆以太網(wǎng)，用于HPC集群系統(tǒng)的管理和監(jiān)控。存儲網(wǎng)絡采用10GE以太網(wǎng)或40GE的Infiniband網(wǎng)絡，為主機訪問數(shù)據(jù)文件提供高速的網(wǎng)絡互聯(lián)。
