CTI論壇(ctiforum)7月23日消息（記者 李文杰):華為7月20日在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式開(kāi)源。Spark SQL on HBase package項目又名 Astro，端到端整合了Spark，Spark SQL和HBase的能力，有助于推動(dòng)幫助Spark進(jìn)入NoSQL的廣泛客戶(hù)群，并提供強大的在線(xiàn)查詢(xún)和分析以及在垂直企業(yè)大規模數據處理能力。
華為已經(jīng)把Spark嵌入到其大數據解決方案 —— FusionInsight，在世界上最大的銀行中國工商銀行以及最大的通信服務(wù)提供商中國移動(dòng)得到了應用。華為還將Spark作為云服務(wù)，計劃在今年晚些時(shí)候隨華為公有云發(fā)布。
2014年8月25日，華為團隊與Spark專(zhuān)家在伯克利的辦公室就Spark SQL On HBase設計進(jìn)行交流
Astro的新特性使得數據修改，智能掃描系統具有強大的可操作性，類(lèi)似于自定義過(guò)濾器和協(xié)處理器下推式，并讓更多的傳統RDBS能力可用，其查詢(xún)優(yōu)化算法適用于一般組織的數據集，并可以通過(guò)分布式SQL引擎進(jìn)行查詢(xún)。為了充分利用Spark最新的功能，包括Dataframe和外部數據源API ，華為全球團隊一直持續更新項目代碼并符合最新發(fā)布的Spark1.4版本。此項目吸引了眾多社區貢獻者參與到開(kāi)發(fā)和驗證中來(lái)。此外，華為團隊還對Spark SQL，機器學(xué)習和Spark R貢獻了很多新特性，豐富了Spark的標準庫。
“從作為OPNFV創(chuàng )始成員推動(dòng)公司的核心業(yè)務(wù)網(wǎng)絡(luò )的開(kāi)放，到云計算和物聯(lián)網(wǎng)等新業(yè)務(wù)，開(kāi)源已經(jīng)成為華為公司層面的戰略，比如我們將世界上最輕巧的物聯(lián)網(wǎng)操作系統LiteOS開(kāi)源，在標準化和簡(jiǎn)化基礎設施的同時(shí)，還可以提升物聯(lián)網(wǎng)的可連接能力。”華為中軟總裁王成錄說(shuō)到。
王成錄表示：“Spark憑借其在數據處理和分析的卓越架構成為Apache社區最有影響力的項目，一直是華為公司重點(diǎn)和首要的關(guān)注。我們相信以Spark作為我們大數據解決方案的核心，一定會(huì )給客戶(hù)帶來(lái)顯著(zhù)的優(yōu)勢，推動(dòng)生態(tài)圈的技術(shù)創(chuàng )新，同時(shí)最大程度優(yōu)化IT投資，成就客戶(hù)。”
華為已在世界排名前5的移動(dòng)運營(yíng)商中國聯(lián)通運營(yíng)子公司部署Spark，用于解決關(guān)鍵業(yè)務(wù)領(lǐng)域問(wèn)題。該系統支持多個(gè)數據源條件下的近實(shí)時(shí)查詢(xún)和分析，允許分析員和數據科學(xué)家基于大規模數據更簡(jiǎn)單有效的建立模型，對于某些特定場(chǎng)景，建模周期甚至能夠從幾個(gè)月縮減至幾周。另外，該系統基于Spark也成功的實(shí)現了用戶(hù)推薦和離網(wǎng)預測。華為和聯(lián)通正在攜手努力，把Spark應用延伸到新的業(yè)務(wù)領(lǐng)域。
而最近在南美最大的電信運營(yíng)商之一的的成功商用，證明了相比傳統的BI系統和數據管理平臺，Spark和華為大數據解決方案能夠帶來(lái)更多的商業(yè)價(jià)值。運營(yíng)商可以更迅速及時(shí)地獲取最新的、集中的客戶(hù)洞察，在試點(diǎn)的業(yè)務(wù)中實(shí)現更高的營(yíng)銷(xiāo)轉化率，并能采用敏捷和快速的方式開(kāi)發(fā)新的商業(yè)案例。數據分析人員不再需要進(jìn)行MapReduce復雜編碼，機器學(xué)習的規模以及性能得到了極大的改善。
“我們很高興華為成為Spark的主要貢獻者。作為在新興市場(chǎng)和電信行業(yè)的領(lǐng)導者，華為一直在努力擴大Spark的影響力。” Databricks 的聯(lián)合創(chuàng )始人以及Spark的發(fā)布經(jīng)理Patrick Wendell 這樣評價(jià)華為，“ 華為從Spark項目初期就一直是堅定的貢獻者。我們期望華為繼續發(fā)展Spark，并推動(dòng)其在全球市場(chǎng)的垂直應用。”
Spark提供了一個(gè)強大的編程框架，豐富的API和庫，充滿(mǎn)活力的生態(tài)系統，以及無(wú)與倫比技術(shù)創(chuàng )新的步伐，因而在大數據領(lǐng)域飛速上升。
“華為的全球團隊在基于業(yè)務(wù)驅動(dòng)的情況下，把新的算法加入到MLlib庫中，同時(shí)在與Databricks和社區共同探索在矢量化處理以及SQL核心模塊性能優(yōu)化等工作的合作的可能性。”華為美國研發(fā)中心大數據帶頭人Bing Xiao說(shuō)到， “我們已經(jīng)看到社區對Astro的興趣，通過(guò)與其他廠(chǎng)商合作的方式去增強和推廣。此外，新興客戶(hù)對Spark SQL on OLAP cube有明顯的訴求，而我們正在評估社區的接受程度，以便于開(kāi)源。華為堅定地致力于Spark，并在廣泛參與社區和行業(yè)建設。”
