CTI論壇(ctiforum)12月16日消息（記者 凡易)：華為今日宣布，中央研究院香農(nóng)實驗室在2013Hadoop中國技術(shù)峰會（China Hadoop Summit 2013）上提出業(yè)界首創(chuàng)的HIMM （Hybrid Iterative Matrix Multiplication） 模型。使用該模型表達(dá)的圖數(shù)據(jù)挖掘算法能夠獲得10倍的性能提升，這對于大數(shù)據(jù)處理的實時性具有重要意義。
Hadoop中國技術(shù)峰會于2013年11月23日在北京圓滿落幕。作為本年度大中華地區(qū)規(guī)模最大的Hadoop技術(shù)峰會，本屆大會的主題是“掘金大數(shù)據(jù)”。 華為香農(nóng)實驗室的首席研究員顏友亮發(fā)表了“HiGraph：一種面向圖計算的領(lǐng)域編程語言”的演講，介紹了華為香農(nóng)實驗室在圖計算以及Spark（Berkeley AMP Lab開發(fā)的一種基于內(nèi)存計算的并行計算框架）上所取得的研究成果。
“大數(shù)據(jù)時代的一個重要方面就是圖的規(guī)模越來越大。”顏友亮說，“Facebook人際關(guān)系網(wǎng)，包含頂點數(shù)目超過10億。其他網(wǎng)絡(luò)的規(guī)模也在數(shù)千萬頂點左右。這使得這些圖上的大量應(yīng)用，例如好友推薦、尋找最短路徑等無法準(zhǔn)實時地得到結(jié)果。”
華為香農(nóng)實驗室提出業(yè)界首創(chuàng)的HIMM模型，與傳統(tǒng)圖計算模型相比，具有操作更簡單，接口更實用，編程更輕松等優(yōu)點。算法開發(fā)者使用了HIMM模型，不僅可以用矩陣的方式來表達(dá)圖結(jié)構(gòu)，而且還可以用自定義的矩陣運算來表達(dá)圖上的各種操作，并通過提供一整套圖計算算子來實現(xiàn)高效的并行圖算法。在底層框架上，基于HIMM的圖計算框架HiGraph會根據(jù)不同的硬件環(huán)境實現(xiàn)有針對性的一些優(yōu)化措施，使得HiGraph的性能相比于業(yè)界獲得顯著提升。通過測試Pagerank和單源最短路徑的算法，結(jié)果顯示：在集群環(huán)境模式下，HiGraph借助Spark在迭代計算上的優(yōu)勢，相比其他的解決方案如Bagel和Giraph，HiGraph的性能提高3倍到20倍；在單機環(huán)境模式下，HiGraph充分利用了多核的并行處理能力，實現(xiàn)最大化的并行加速設(shè)計，使得在業(yè)界開源方案的性能上獲得了至少10倍的提升。
“我們的HiGraph性能比業(yè)界高出了一個數(shù)量級，能夠在秒級完成PageRank、單源最短路徑等算法，完全能夠勝任大數(shù)據(jù)處理實時性的要求。”顏友亮說道。
HIMM模型與HiGraph框架對于完善香農(nóng)實驗室在高性能計算研究的布局具有重要意義。華為香農(nóng)實驗室也將繼續(xù)在圖計算領(lǐng)域和Spark框架上發(fā)力，并進(jìn)一步完善HiGraph，為華為的大數(shù)據(jù)研究提供了堅實基礎(chǔ)，助力華為更好地進(jìn)駐大數(shù)據(jù)領(lǐng)域。
