大數據時(shí)代來(lái)了有人說(shuō)現在是個(gè)信息大爆炸的時(shí)代，其實(shí)用“爆炸”來(lái)形容當今信息時(shí)代的特征是不確切的，“爆炸”不僅意味著(zhù)多（多的容器裝不下了），還意味著(zhù)無(wú)法控制和毀滅。我們當然不能讓信息“爆炸”，而要為我們所用，化危機為財富。
信息的載體是數據，新摩爾定律表明，每18個(gè)月所產(chǎn)生的數據相當于有史以來(lái)產(chǎn)生的數據的總和，也就是說(shuō)每一年半，數據就翻番。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等成為海量數據的催化劑，傳統的數據處理技術(shù)已漸漸對海量數據無(wú)能為力，如果不想讓海量暴增的數據失控，我們就需要對其進(jìn)行“治理”，治理包括管理、開(kāi)發(fā)、利用，要從大數據中挖掘出有價(jià)值的東西，為人類(lèi)創(chuàng )造更多的智慧，這就是所謂的“大數據技術(shù)”，其核心就是要讓大數據“慧”說(shuō)話(huà)（說(shuō)出有智慧的話(huà)）。
大數據技術(shù)是一個(gè)籠統的概念，它包括了海量數據的分布式存儲技術(shù)、面向海量數據查詢(xún)和分析的并行計算技術(shù)、各種海量數據的挖掘算法、行業(yè)海量數據建模、各種使得大數據價(jià)值變現的應用，以及承載海量數據的硬件基礎設施等。大數據技術(shù)構成了一個(gè)完整的信息生態(tài)鏈，將各行各業(yè)更緊密地聯(lián)系起來(lái)，“開(kāi)放”、“融合”、“創(chuàng )新”成為大數據時(shí)代出現頻率最高的詞匯。
如今，大數據技術(shù)已經(jīng)在各行各業(yè)開(kāi)始應用，特別是大型互聯(lián)網(wǎng)公司、運營(yíng)商以及政府和金融等行業(yè)。相信5~10年內大數據技術(shù)的應用會(huì )全面鋪開(kāi)，充斥到社會(huì )的每一個(gè)角落，并且成為未來(lái)IT的基礎架構。因此，確切地說(shuō)，我們這個(gè)時(shí)代不是信息“爆炸”的時(shí)代，而是一個(gè)“大數據時(shí)代”！
運營(yíng)商要向IT和互聯(lián)網(wǎng)轉型，金融機構、政府組織也要向IT和互聯(lián)網(wǎng)轉型，全球最大的通信設備提供商——華為公司也在向IT和互聯(lián)網(wǎng)轉型。實(shí)際上，將來(lái)的每一個(gè)企業(yè)首先都是一個(gè)互聯(lián)網(wǎng)企業(yè)。用馬云的話(huà)說(shuō)，企業(yè)在大數據時(shí)代和技術(shù)變革之前，必須要掌握對于未來(lái)的研判，重塑自己的文化基因和組織架構，必須“有所為有所不為”，去做一個(gè)社會(huì )化的企業(yè)。我的解讀就是企業(yè)要找準自己在大數據生態(tài)鏈上的位置，大數據技術(shù)必將把全社會(huì )各行業(yè)組織成一個(gè)有機的整體，任何企業(yè)都不能獨立于這個(gè)肌體之外。
FusionInsight：完全開(kāi)放的大數據平臺在大數據領(lǐng)域，華為公司當然不會(huì )袖手旁觀(guān)。為社會(huì )創(chuàng )造價(jià)值、豐富人們的溝通和生活、成就客戶(hù)是華為人的使命。從2009年開(kāi)始，華為在大數據領(lǐng)域投入了大量的資金和人力進(jìn)行研發(fā)，2011年，華為大數據解決方案橫空出世，最初命名為Galax HD，2013年改名為FusionInsight Hadoop。到目前為止，FusionInsight已在全球拓展了100多個(gè)大數據項目，有40多個(gè)項目已經(jīng)在交付，其中10多個(gè)已經(jīng)在商用。客戶(hù)主要分布在電信、金融、科研、公安和政府等行業(yè)。
FusionInsight是企業(yè)級大數據存儲、查詢(xún)、分析的統一平臺，為企業(yè)快速構建海量數據信息處理系統，通過(guò)對各類(lèi)海量數據信息實(shí)時(shí)和非實(shí)時(shí)的分析和挖掘，幫助企業(yè)從海量數據信息中獲取到真正的價(jià)值，及時(shí)洞察和決策新的機會(huì )與風(fēng)險。
FusionInsight是完全開(kāi)放的大數據平臺，可運行在任意標準的x86服務(wù)器上，無(wú)需任何專(zhuān)用的硬件或存儲，并針對金融、運營(yíng)商等數據密集型行業(yè)的運行維護、應用開(kāi)發(fā)等需求打造了高可靠、高安全、易使用的運行維護系統和全量數據建模中間件，讓企業(yè)可以更快、更準、更穩地從各類(lèi)繁雜無(wú)序的海量數據中發(fā)現價(jià)值。
Google雖然是大數據技術(shù)的鼻祖，但Apache Hadoop開(kāi)源社區卻是最有影響力的開(kāi)源大數據技術(shù)的孵化器，大數據要走向開(kāi)放、融合，開(kāi)源是必然的趨勢。華為將大數據明確為ICT融合時(shí)代公司的戰略方向并加大投入，在美國以及中國香港、深圳、北京、西安匯集了各路大數據專(zhuān)家，持續回饋并引領(lǐng)Apache Hadoop開(kāi)源社區，對Apache Hadoop社區的貢獻在所有IT設備商中排名第一，持續推動(dòng)社區的開(kāi)放與發(fā)展。
華為FusionInsight團隊具備強大的本地化工程服務(wù)能力，不僅可以幫助客戶(hù)定位大數據內核級問(wèn)題，還針對行業(yè)應用開(kāi)發(fā)了數據服務(wù)和能力開(kāi)放使能環(huán)境，兼容客戶(hù)原有開(kāi)發(fā)和使用環(huán)境，讓大數據更易使用并產(chǎn)生價(jià)值。FusionInsightHadoop發(fā)行版緊隨開(kāi)源社區的最新技術(shù)，快速集成最新組件，并在可靠性、安全性、管理性方面進(jìn)行了企業(yè)級的增強和持續改進(jìn)，始終保持技術(shù)領(lǐng)先。而且FusionInsight Hadoop保持了100%的開(kāi)放性，決不使用私有架構和組件。
FusionInsight Hadoop的企業(yè)級增強FusionInsight Hadoop的企業(yè)級增強主要表現在以下幾個(gè)方面：
- 高可靠性
FusionInsight Hadoop所有管理節點(diǎn)組件均實(shí)現HA；HBase集群實(shí)現1000公里以上的異地災備；表級集群備份、全量、增量、日志追趕、數據恢復（對本地存儲的業(yè)務(wù)數據進(jìn)行完整性校驗，在發(fā)現數據遭破壞或丟失時(shí)進(jìn)行自恢復）。
- 高安全性
FusionInsight Hadoop實(shí)現了基于用戶(hù)和角色的統一認證體系，實(shí)現對角色進(jìn)行權限管理和審計，WEBUI服務(wù)還支持單點(diǎn)登錄認證。對HBase的權限控制支持HBase庫、表、列族和列等不同級別。Hive還支持合法用戶(hù)之間的數據安全隔離，保障用戶(hù)數據安全；支持合法用戶(hù)之間的授權訪(fǎng)問(wèn)，允許用戶(hù)數據交叉訪(fǎng)問(wèn)。
FusionInsight還可以對文件系統進(jìn)行加密，Hive、HBase可以對表、字段加密，集群內部用戶(hù)信息禁止明文存儲。加密算法插件化，可進(jìn)行擴充，亦可自行開(kāi)發(fā)，并且加解密過(guò)程業(yè)務(wù)完全不感知。
高安全性還體現在對操作系統的安全加固，通過(guò)裁剪不必要組件，工具自動(dòng)測試掃描，在業(yè)務(wù)節點(diǎn)、管理節點(diǎn)和用戶(hù)管理Portal等組件采取業(yè)界標準來(lái)實(shí)現操作系統加固，保證基礎設施的安全性。
- 高性能
針對數據密集型行業(yè)傳統數據庫、數據倉庫的大量關(guān)聯(lián)表設計，創(chuàng )新地實(shí)現了CTBase方案。CTBase可以將多個(gè)具有類(lèi)似功能或存在關(guān)聯(lián)的業(yè)務(wù)表聚簇到一個(gè)HBase大表中，可提升一些關(guān)鍵場(chǎng)景的多表關(guān)聯(lián)查詢(xún)性能。另外，CTBase還提供了二級索引，RowKey Schema的維護管理等關(guān)鍵能力。同時(shí)，CTBase對HBase原生態(tài)API進(jìn)行了封裝，提供更友好的二次開(kāi)發(fā)界面。
FusionInsight Manager（FusionInsight運行維護中心）支持系統雙機和分布式并行處理，可10分鐘完成集群安裝；全自動(dòng)化在線(xiàn)運行維護、自定義Dashboard、自動(dòng)化的應用開(kāi)發(fā)助手，讓企業(yè)可以輕松地管理大數據系統；提供向導式升級、回退的界面操作，當升級過(guò)程異常時(shí)，支持自動(dòng)安全回退，也支持觀(guān)察期手工觸發(fā)安全回退，可以在6分鐘內完成Hadoop集群升級。
FusionInsight Hadoop還提供了北向接口，實(shí)現與企業(yè)現有網(wǎng)管系統集成；當前支持syslog接口，接口消息可通過(guò)配置適配現有系統；整個(gè)Hadoop集群采用統一的集中管理，未來(lái)北向接口可根據需求靈活擴展。
- 解決方案配套能力
為讓開(kāi)發(fā)者更方便地使用大數據技術(shù)，在開(kāi)源Hadoop平臺基礎上，華為FusionInsight Hadoop圍繞數據的采集、分析和消費，在典型場(chǎng)景如數據中心運維日志分析、歷史數據查詢(xún)、實(shí)時(shí)事件處理、客戶(hù)特征畫(huà)像等形成了系列解決方案，并跟隨客戶(hù)業(yè)務(wù)的發(fā)展不斷豐富。
綻放智慧的光彩華為FusionInsight大數據平臺可以為電信、金融、政府等行業(yè)大型企事業(yè)單位量身定制企業(yè)級的大數據解決方案，本著(zhù)讓數據“慧”說(shuō)話(huà)的目標，對企業(yè)數據全量建模、深度分析、深刻洞察，為企業(yè)的精準營(yíng)銷(xiāo)、實(shí)時(shí)決策、客戶(hù)維系、數據開(kāi)放等各種應用場(chǎng)景提供全面的技術(shù)保障。
用任正非總裁的話(huà)講，大數據時(shí)代也是大機會(huì )時(shí)代，但是華為不可以機會(huì )主義，華為人總是本著(zhù)求實(shí)創(chuàng )新的精神，不惜10年磨一劍。經(jīng)過(guò)華為人的努力，FusionInsight必將成為大數據領(lǐng)域的一顆耀眼明珠，在茫茫的數據海洋中，綻放屬于它的智慧的光彩。
FusionInsight總體架構圖
