Hadoop不是萬能鑰匙
在大數(shù)據(jù)探索的進程中，運營商逐漸擺脫了對Hadoop技術的認知誤區(qū)。猶記得大數(shù)據(jù)興起之時，Hadoop風生水起，它被認為是業(yè)界應對大數(shù)據(jù)挑戰(zhàn)的一劑良藥。
然而在實踐過程中，人們發(fā)現(xiàn)Hadoop在用作數(shù)據(jù)深度挖掘時存在效率低下等問題，遠不及傳統(tǒng)的數(shù)據(jù)倉庫好用。但Hadoop成本低，用作數(shù)據(jù)存儲具有數(shù)據(jù)倉庫無法比擬的優(yōu)勢。
Teradata解決方案高級總監(jiān)姜欣用一個形象的比喻來說明Hadoop在大數(shù)據(jù)發(fā)揮的作用。“大數(shù)據(jù)就是一個淘金的過程。淘金過程中，首先需要把礦石挖掘出，就需要有運輸?shù)墓ぞ吆投逊诺奈恢茫敲碒adoop就等同于這個工具和位置，更多的是傳輸和存儲數(shù)據(jù)。之后，需要進行礦石的提煉，從而淘出金子。這時候用Hadoop的話，花費的人力和物力會大大增加，時間成本也會增加。”
中國聯(lián)通的大數(shù)據(jù)應用代表“移動通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)”便是采用Hadoop技術實現(xiàn)了實時查詢的功能。每天可處理700億條上網(wǎng)記錄，將用戶上網(wǎng)查詢記錄的系統(tǒng)響應時間縮短至一秒，大大提升用戶感知。
從目前情況看，任何單一技術都不足以高效低成本地支撐大數(shù)據(jù)整個架構。何鴻凌在“2013 Teradata大數(shù)據(jù)峰會”的演講中指出，大數(shù)據(jù)時代，運營商需要分工嚴密的混搭結構，包括傳統(tǒng)數(shù)據(jù)倉庫、新型數(shù)據(jù)關系庫和Hadoop，以充分發(fā)揮各個平臺的優(yōu)勢。
而且，他強調，這些技術要有效的形成“混搭”，而不是“亂搭”，不能變成“豎井”，需要集成為統(tǒng)一的大數(shù)據(jù)架構。中國移動目前便初步形成了以傳統(tǒng)數(shù)據(jù)倉庫為基礎的統(tǒng)一大數(shù)據(jù)架構。
其中，主數(shù)據(jù)倉庫用來存儲“熱”數(shù)據(jù)，進行高效數(shù)據(jù)加工，支撐KPI、月報的及時呈現(xiàn)，支撐數(shù)據(jù)的高可靠性低時延訪問;新型的關系數(shù)據(jù)庫作為深度分析平臺，則用戶存儲“溫”數(shù)據(jù)，支撐各類高級分析和數(shù)據(jù)挖掘;Hadoop用來存儲“冷”數(shù)據(jù)和非結構化原始數(shù)據(jù)，實現(xiàn)自定義、靈活的數(shù)據(jù)加工和挖掘工作，以及大規(guī)模簡單數(shù)據(jù)查詢工作。
兩大盈利方向
大數(shù)據(jù)作為運營商待挖掘的金礦，其價值來源于兩個方面，其一是改善用戶體驗，針對用戶實現(xiàn)精準營銷，提升營業(yè)利潤;其二是將數(shù)據(jù)分析結果作為一種服務提供給企業(yè)客戶，幫助他們實現(xiàn)更多的價值。
葉云告訴記者，DAAS(Data As A Service)帶來的價值更多，更值得運營商重視。“電信運營商作為大數(shù)據(jù)時代重要的數(shù)據(jù)聚合者，通過數(shù)據(jù)開放，形成大數(shù)據(jù)價值生態(tài)圈，更加充分挖掘其潛在價值。”他說。前面提及的西班牙電信的智慧足跡產(chǎn)品便代表了第二個方向。
值得一提的是，運營商需要解決好用戶隱私的問題。“近年來客戶隱私被濫用的現(xiàn)象時有發(fā)生。而大數(shù)據(jù)時代，這一威脅正在被放大。保護客戶隱私既是對法律法規(guī)的遵從，更是企業(yè)的社會責任。”何鴻凌表示。
據(jù)了解，Verizon在成立大數(shù)據(jù)部門的前一年就調整了公司的隱私政策，為合法利用用戶數(shù)據(jù)打下了基礎。2011年10月，在一項有關隱私政策變化的聲明中，Verizon稱公司將利用其收集到的用戶訪問的網(wǎng)站、使用的應用程序以及他們的地理位置等信息，來“撰寫商業(yè)和營銷報告”以及“制作與用戶關聯(lián)度更大的移動廣告”。同時，Verizon還準備將這些分享給其他公司。
但是，Verizon表示，那些不愿意自己信息被分享的用戶可以選擇退出。如果用戶決定參加，它使用或分享的信息也不會被認出是某個用戶的信息。
IBM和牛津大學共同發(fā)表的研究報告《分析：大數(shù)據(jù)在現(xiàn)實世界中的應用》表明：25%的中國企業(yè)已經(jīng)開始進行大數(shù)據(jù)實踐，56%中國企業(yè)正在計劃部署大數(shù)據(jù)。預計在未來的兩到三年內，其價值便會規(guī)模釋放。
