大數據在移動(dòng)互聯(lián)網(wǎng)時(shí)代也顯得越來(lái)越重要，當大家都在探討互聯(lián)網(wǎng)思維的時(shí)候，到底什么是互聯(lián)網(wǎng)思維？各家有各家的說(shuō)法，但是萬(wàn)變不離其宗的是離不開(kāi)的數據挖掘和分析應用。2014年2月19日，在第十一期“信息化大講堂”上聯(lián)想中國服務(wù)總部首席技術(shù)顧問(wèn)劉睿民先生與大家分享了大數據挖掘技術(shù)的發(fā)展趨勢及行業(yè)機遇。
聯(lián)想中國服務(wù)總部首席技術(shù)顧問(wèn) 劉睿民
近幾年大數據非常火爆，今年更是馬上火熱，但總的來(lái)說(shuō)集成互聯(lián)網(wǎng)思維大數據的革命才剛剛開(kāi)始。現在新數據的年增長(cháng)為60%左右，也逐漸從基礎架構、Apps向數據的簡(jiǎn)化邁進(jìn)。那么要達到大數據的簡(jiǎn)化，就要先了解大數據處理的現狀、大數據系統統一的整體、大數據的框架及特征。
同時(shí)劉睿民先生提到：虛擬化的Hadoop是未來(lái)，這就意味著(zhù)我們要通過(guò)虛擬化來(lái)統一大數據計算平臺，使其實(shí)現簡(jiǎn)單、快速、即需地監控數據集群、允許混合負載、利用虛擬機來(lái)提供隔離、通過(guò)虛擬宕撲來(lái)優(yōu)化數據處理性能和平臺穩定性的目標；可伸縮的擴展性能、依靠高可靠性來(lái)保護關(guān)鍵服務(wù)，如：Hadoop的Name Node及Job Tracker；資源控制和共享，重用低利用率的內存及CPU；對負載進(jìn)行優(yōu)先級控制，在混合環(huán)境中優(yōu)化及限制資源的使用充分利用虛擬化。
緊接著(zhù)，劉睿民先生為大家講解了統一的基于分析的云的三個(gè)階段。第一個(gè)階段：統一的系統。預先整合系統，便于管理及使用；第二個(gè)階段：實(shí)時(shí)的流數據分析。針對導入的數據執行實(shí)時(shí)的“流式”的分析查詢(xún)、全速更新即時(shí)導入的數據、調度及執行上百個(gè)復雜查詢(xún)、能夠進(jìn)行億級維表和事實(shí)表JOIN,同時(shí)無(wú)需對維表及事實(shí)表進(jìn)行預處理；第三個(gè)階段：基于內存計算的分析應用部署。實(shí)時(shí)加載及大規模部署分析應用、分析應用全速響應外部App或傳感器、分析應用動(dòng)態(tài)生成及執行上萬(wàn)個(gè)復雜查詢(xún)。
合影留念
演講接近尾聲時(shí)，現場(chǎng)嘉賓也紛紛提出自己在工作中遇到的困難，劉睿民先生也對大家的提問(wèn)詳細解答，與大家共同探討解決之道，演講結束后，現場(chǎng)嘉賓月劉睿民先生合影留念。
與成熟技術(shù)積累推動(dòng)應用模式創(chuàng )新的云計算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等領(lǐng)域不同，大數據領(lǐng)域的技術(shù)尚未完全成熟，大數據的革命才剛剛開(kāi)始，因此大數據在未來(lái)也將帶給大家更多的機遇與挑戰。
第十二期活動(dòng)預告：【大數據：一個(gè)CIO的自我修養】
了解更多信息化大講堂資訊，請點(diǎn)擊：
