大數據技術(shù)方案必備四個(gè)條件
在技術(shù)層面上，大數據處理技術(shù)種類(lèi)繁多，包括數據倉庫技術(shù)、Hadoop、NoSql、流式處理技術(shù)等。其中Hadoop作為一個(gè)開(kāi)源的能夠對大量數據進(jìn)行分布式處理的軟件框架，近來(lái)不斷受到業(yè)界追捧，類(lèi)似谷歌、亞馬遜等世界領(lǐng)先的互聯(lián)網(wǎng)公司也公布了基于Hadoop的成功案例，一些聲音甚至表示，Hadoop就等于大數據。
據了解，中國聯(lián)通在內的國內運營(yíng)商和一些大型企業(yè)也開(kāi)啟了Hadoop的大數據探索之路。其中已經(jīng)先期開(kāi)展的應用就是通過(guò)采用英特爾硬件平臺及英特爾Hadoop相結合的大數據技術(shù)，構建上網(wǎng)記錄集中查詢(xún)與分析支撐系統，用以解決用戶(hù)上網(wǎng)記錄無(wú)法查詢(xún)的難題。
但是也應該看到，這種技術(shù)不僅是IT設備投入，人力成本以及對操作人員的技術(shù)水平都有相當嚴格的要求，目前自行開(kāi)發(fā)Hadoop平臺的都是具備一定開(kāi)發(fā)能力的互聯(lián)網(wǎng)企業(yè)，但運營(yíng)商在這方面并不擅長(cháng)。
據上海移動(dòng)介紹，目前業(yè)界在大數據業(yè)務(wù)支撐系統上已經(jīng)有了很多的研究，中國移動(dòng)也在積極進(jìn)行研究探索，技術(shù)上的難點(diǎn)包括如何整合運營(yíng)商內部已有“煙囪式”的各類(lèi)經(jīng)營(yíng)分析系統，建設一個(gè)開(kāi)放接口的共享數據平臺;如何解決海量數據的采集、存儲和安全問(wèn)題等。
上海聯(lián)通認為，在未來(lái)大數據技術(shù)方案應該具備四個(gè)條件：
一是具備數據分析速度優(yōu)勢。在查詢(xún)效率上比傳統系統要有大幅提高。
二是具備大規模擴展能力。數據的橫向、縱向的擴展能力提升，包括跨服務(wù)器數據的處理能力優(yōu)勢。
三是具備開(kāi)放架構優(yōu)勢。一方面是對Hadoop的支持與集成，另一方面則是提供各個(gè)平臺間，甚至是與第三方平臺間的自由的傳輸數據和存儲。
四是具備完善的自我學(xué)習能力。實(shí)現海量數據挖掘后不需要人工干預的策略自我歸集。
運營(yíng)商做什么
互聯(lián)網(wǎng)服務(wù)對傳統電信運營(yíng)商業(yè)務(wù)構成的沖擊，反而可以加速運營(yíng)商的轉型，并催生運營(yíng)商新的機遇和市場(chǎng)空間。大數據和云計算恰恰就是在這種產(chǎn)業(yè)變化的情況下催生出的新業(yè)務(wù)，對于運營(yíng)商來(lái)說(shuō)，這兩個(gè)領(lǐng)域擁有比傳統基礎電信業(yè)務(wù)更大的市場(chǎng)空間。
對于大數據市場(chǎng)的開(kāi)發(fā)，上海聯(lián)通認為運營(yíng)企業(yè)應該遵循由簡(jiǎn)到難的四步走策略：
首先，開(kāi)展針對用戶(hù)消費數據的分析評估，以幫助運營(yíng)商改善自身服務(wù)質(zhì)量。
其次，結合用戶(hù)上網(wǎng)情況及互聯(lián)網(wǎng)網(wǎng)頁(yè)內容，為精準行銷(xiāo)提供用戶(hù)行為偏好分析;為聯(lián)通自身的業(yè)務(wù)發(fā)展提供大趨勢及業(yè)務(wù)競品分析能力和策略指引。
第三，在專(zhuān)門(mén)行業(yè)應用領(lǐng)域入手，開(kāi)展專(zhuān)業(yè)化大數據產(chǎn)品的設計的開(kāi)發(fā)，積累推廣經(jīng)驗。
最后，開(kāi)展第三方資源整合和跨界合作，構建智慧的大數據體系，加大開(kāi)放合作力度，與產(chǎn)業(yè)鏈各個(gè)環(huán)節開(kāi)展合作，加快對大數據經(jīng)營(yíng)商業(yè)模式的探索，不斷釋放其管道中龐大數據的潛在力量，為客戶(hù)創(chuàng )造更大的價(jià)值。
據上海聯(lián)通介紹，中國聯(lián)通目前正在著(zhù)手對大數據業(yè)務(wù)進(jìn)行研究，并已經(jīng)成立了云數據運營(yíng)中心，計劃依靠該部門(mén)逐步嘗試開(kāi)展大數據業(yè)務(wù)的運營(yíng)工作，并計劃將該運營(yíng)中心公司化，獨立運營(yíng)。
2012年中國聯(lián)通成功將大數據和Hadoop技術(shù)引入到‘移動(dòng)通信用戶(hù)上網(wǎng)記錄集中查詢(xún)與分析支撐系統’，并已經(jīng)部署了4.5PB的存儲空間。系統已經(jīng)具備了每天處理700億條上網(wǎng)記錄的能力。
上海電信則主要從大數據基礎設施建設，數據挖掘和開(kāi)放等兩個(gè)層次發(fā)展大數據相關(guān)業(yè)務(wù)。
在基礎設施方面，上海電信除建設城市光網(wǎng)等基礎設施外，更加關(guān)注數據存儲和數據分析計算設施的建設，包括IDC服務(wù)器托管和云產(chǎn)品。這為大數據市場(chǎng)的發(fā)展提供了基礎設施的資源。
上海電信表示：上海電信將充分發(fā)揮IDC運營(yíng)主力軍作用，按照規劃引導、集約建設、資源共享、規范管理、適度超前的原則，加大建設投入，著(zhù)力增強信息網(wǎng)絡(luò )綜合承載能力、設施資源綜合利用能力和信息通信集聚輻射能力，將IDC打造成豐富的信息承載平臺、完善的客戶(hù)服務(wù)平臺和全面的價(jià)值共享平臺。
上海電信將進(jìn)一步完善IDC資源布局，在未來(lái)3-5年內重點(diǎn)建設幾大基地化數據中心，實(shí)現IDC業(yè)務(wù)在地理位置上的分區覆蓋，并滿(mǎn)足重要客戶(hù)數據同城異地的備份要求;繼續加強基礎設施規劃和建設管理，促進(jìn)機制完善和模式創(chuàng )新，同時(shí)注重節能環(huán)保和服務(wù)提升;推進(jìn)“新一代數據中心設計規范”的制定，在符合國際和國家相關(guān)行業(yè)標準的基礎上，結合上海的本地優(yōu)勢，建設規范設計、綠色運營(yíng)、智能管理的新一代數據中心。
今年，上海電信信網(wǎng)部通過(guò)體制調整，建立了云產(chǎn)品拓展中心和云平臺運營(yíng)中心。
通過(guò)整合信網(wǎng)部現有的業(yè)務(wù)拓展資源、人力配置資源和運維管理資源，主推云計算專(zhuān)業(yè)化產(chǎn)品，部署規模化商用云計算數據中心，為大力拓展高性能計算、存儲、災備等增值業(yè)務(wù)做好基礎支撐，滿(mǎn)足服務(wù)本市及周邊地區經(jīng)濟社會(huì )發(fā)展的需求。
其次，以自主發(fā)展、應用示范為重點(diǎn)，以建設國家云計算試點(diǎn)城市為契機，繼續實(shí)施“云海計劃”，集聚國內外大型互聯(lián)網(wǎng)企業(yè)，在金融、健康、文化等領(lǐng)域，探索建立云計算商業(yè)模式，打造亞太云計算中心。
第三，以市場(chǎng)化為導向，重點(diǎn)建設“金融云”、“中小企業(yè)云”、“健康云”等，向企業(yè)和個(gè)人提供服務(wù)。同時(shí)進(jìn)一步重視行業(yè)解決方案，這包括兩個(gè)方面的行動(dòng)。
一是在云計算服務(wù)器、云安全、云管理平臺、桌面虛擬化等關(guān)鍵技術(shù)領(lǐng)域實(shí)現突破，形成具有競爭力的云計算關(guān)鍵技術(shù)服務(wù)和整體解決方案。
二是深入智慧城市應用，進(jìn)一步加強物聯(lián)網(wǎng)公共平臺建設和推廣智能車(chē)輛監控、電子校徽、智能制造、社區安防等行業(yè)應用。發(fā)揮EVDO網(wǎng)絡(luò )優(yōu)勢，做強移動(dòng)全球眼。聚焦政務(wù)、教育、交通等重點(diǎn)行業(yè)，積極開(kāi)發(fā)一系列物聯(lián)網(wǎng)行業(yè)應用，重點(diǎn)切入、有效投入，最終達到規模效應，結合全球眼視頻監控、RFID身份識別等，打造智能安防、環(huán)境監測、平安校園、智能交通等產(chǎn)品，構建基于物聯(lián)網(wǎng)的動(dòng)態(tài)信息交互與服務(wù)平臺，助力政務(wù)、教育、交通等行業(yè)相關(guān)部門(mén)，全面提升管理決策水平及服務(wù)社會(huì )公眾的能力。
上海移動(dòng)擁有超過(guò)2千萬(wàn)用戶(hù)，擁有海量的用戶(hù)、業(yè)務(wù)數據。上海移動(dòng)一直以來(lái)以提供優(yōu)質(zhì)的客戶(hù)服務(wù)為運營(yíng)理念，為實(shí)現這一目標，上海移動(dòng)建成了成熟的經(jīng)營(yíng)分析系統，流量經(jīng)營(yíng)系統等。
上海移動(dòng)積累了多年的業(yè)務(wù)、網(wǎng)絡(luò )和用戶(hù)數據，建有電信級的數據中心和成熟的經(jīng)營(yíng)分析系統，比如在流量經(jīng)營(yíng)系統中采集GSM、TD、WLAN三網(wǎng)網(wǎng)絡(luò )側運行數據，結合經(jīng)營(yíng)分析側用戶(hù)、終端和業(yè)務(wù)方面的數據，對用戶(hù)上網(wǎng)內容、終端等進(jìn)行深度分析，掌握客戶(hù)行為等信息，有效支撐網(wǎng)絡(luò )和業(yè)務(wù)部門(mén)的具體工作，不斷提升上海移動(dòng)的用戶(hù)滿(mǎn)意度和業(yè)務(wù)價(jià)值。
目前，上海移動(dòng)基于用戶(hù)數據的分析挖掘工作主要用于及時(shí)發(fā)現影響客戶(hù)感知的網(wǎng)絡(luò )運營(yíng)和客戶(hù)服務(wù)領(lǐng)域，提升業(yè)務(wù)質(zhì)量和客戶(hù)滿(mǎn)意度。同時(shí)，上海移動(dòng)正積極部署通過(guò)各類(lèi)業(yè)務(wù)和網(wǎng)絡(luò )運營(yíng)數據的分析，通過(guò)數據驅動(dòng)業(yè)務(wù)流程，培養用戶(hù)習慣。將來(lái)，上海移動(dòng)將進(jìn)一步精確洞察數據，從數據成本中心向數據運營(yíng)中心轉變，引入創(chuàng )新業(yè)務(wù)模式，挖掘行業(yè)客戶(hù)，與合作伙伴開(kāi)展業(yè)務(wù)合作。
上海運營(yíng)商將保護用戶(hù)隱私
運營(yíng)商所掌握的用戶(hù)信息是十分精確的數據，而且手機、電話(huà)號碼也是信息傳遞最為直接的方式，所以，當運營(yíng)商進(jìn)行用戶(hù)信息拓展的時(shí)候，勢必要有一個(gè)范疇的定義。運營(yíng)商所掌握的信息，不僅僅是用戶(hù)的身份信息、手機號碼等等，甚至連用戶(hù)的所處位置、通話(huà)狀態(tài)等等都能夠獲取，這些數據信息對于每一個(gè)人都是敏感的。
上海的通信運營(yíng)企業(yè)對用戶(hù)數據提供了符合法律法規高級別的隱私保護，在用戶(hù)信息保護工作中建立了非常完善的規章制度和嚴格的操作流程，并有安全部門(mén)負責檢查考核。
在大數據業(yè)務(wù)的開(kāi)發(fā)中，上海通信運營(yíng)企業(yè)技術(shù)上將會(huì )采取更加系統全面的方式對用戶(hù)隱私進(jìn)行保護。
一個(gè)重要行動(dòng)是全面升級客戶(hù)資料檔案庫。據了解，目前上海聯(lián)通檔案庫存放標準達到業(yè)界領(lǐng)先水平。
另一個(gè)措施就是不斷提高客戶(hù)資料管理系統的安全保護能力，加強賬號管理。據悉，目前上海通信運營(yíng)企業(yè)的網(wǎng)絡(luò )安全防護水平達到工業(yè)和信息化部《通信網(wǎng)絡(luò )安全防護管理辦法》所規定的三級以上。
為確保用戶(hù)隱私，上海通信運營(yíng)企業(yè)短信中心系統目前已不留存用戶(hù)短息內容等原始信息，對垃圾短信的攔截通過(guò)系統設置自動(dòng)執行。
