微軟全球資深副總裁張亞勤博士
2008年9月-2009年7月，我將自己對云計算的現實(shí)與未來(lái)的思考總結寫(xiě)成了《云計算三部曲》。那時(shí)，云計算對許多人來(lái)說(shuō)還是新鮮和深奧的概念；而今，云已是觸手可及。個(gè)人用戶(hù)將文檔、照片、視頻、游戲存檔記錄上傳至云中永久保存，企業(yè)客戶(hù)根據自身需求，可以搭建自己的私有云，或托管、或租用公有云上的IT資源與服務(wù)，這些都已不是新鮮事。去年11月，我們宣布將Windows Azure平臺帶入中國，也意味著(zhù)公有云已成為主流服務(wù)。作為云計算的殺手級應用，“大數據”近來(lái)又引發(fā)了不少行業(yè)人士的關(guān)注和研討，此文將重點(diǎn)談?wù)劥髷祿c云的關(guān)系，以及二者的結合，將對科技和商業(yè)生態(tài)產(chǎn)生怎樣的影響。
三大平臺之爭與大數據
三年前，我首次提出了“三大平臺之爭“，這是一場(chǎng)注定要曠日持久的爭奪戰。如今，三大平臺之爭也進(jìn)入了新的階段。
第一個(gè)平臺是云。由于云計算基礎設施建設需要巨大的資金投入、長(cháng)時(shí)間、大范圍的部署和持續的更新維護，有足夠的資源、實(shí)力去構建大規模云計算平臺的企業(yè)并不多。所以當時(shí)我說(shuō)，縱觀(guān)全球，也不會(huì )有太多的公司有資格成為云平臺的掌控者，如今看來(lái)，亞馬遜、微軟、谷歌、Rackspace等少數公司位于第一軍團。
我們正式發(fā)布Windows Azure平臺是在2010年初。它整合了微軟在云計算領(lǐng)域的經(jīng)驗積淀、創(chuàng )新能量和生態(tài)系統的傳統優(yōu)勢，三年來(lái)發(fā)展迅猛。隨著(zhù)2012年9月，微軟云操作系統（包括Windows Server，Windows Azure和System Center）的正式發(fā)布，以及11月微軟與上海市政府、世紀互聯(lián)達成合作，宣布將Windows Azure平臺和Office 365服務(wù)引入中國，標志著(zhù)微軟在中國的云計算實(shí)踐進(jìn)入了全新的階段。
第二個(gè)平臺是智能終端，其本質(zhì)是iOS、Android和Windows之爭。2010年，“移動(dòng)三國”的競爭才剛開(kāi)始。轉眼間三年過(guò)去了，戰況是越來(lái)越激烈，而且這場(chǎng)戰役還會(huì )持續很久。蘋(píng)果、Google、微軟都在設法強化自身的生態(tài)系統，微軟最近幾個(gè)月，陸續宣布了Windows 8、Windows Phone 8等一系列新終端平臺，目前的市場(chǎng)反響表明，微軟的轉型是基本成功的。
更為重要的是，除了PC、平板電腦、智能手機、游戲主機等常見(jiàn)的計算終端之外，微軟早已著(zhù)眼于在更廣闊的、泛在互連的智能設備布局，比如智能汽車(chē)、智能電視、工業(yè)設備和手持設備等。11月宣布的Windows Embedded 8標準版預覽，支持觸摸及手勢交互，讓數以百億計的新機器與傳統的IT設備和網(wǎng)絡(luò )連接到一起。而從2012和2013年的CES展看，智能汽車(chē)會(huì )越來(lái)越熱，直至普及。
第三個(gè)平臺是凌駕于云和端之上的，反映真實(shí)關(guān)系的社會(huì )化商務(wù)和社交平臺。永不中斷的云服務(wù)和彼此連接的人群與海量設備，帶來(lái)的最大機會(huì )在于如何以人和數據為中心，發(fā)展出反映真實(shí)世界中人與人、人與機器、機器與機器關(guān)系的社會(huì )化網(wǎng)絡(luò )，并在其上誕生消弭真實(shí)與虛擬界限、更加人性化、交互更自然的商務(wù)和社交平臺，以及應用。我們看到，將現實(shí)社會(huì )關(guān)系數字化、網(wǎng)絡(luò )化、商業(yè)化的嘗試早已開(kāi)始。但迄今為止，現實(shí)世界數字化的程度還不夠，真正超越國別、種族和文化壁壘的社會(huì )化網(wǎng)絡(luò )的平臺仍未建成，這也正是中國IT產(chǎn)業(yè)的重大機遇。
顯然，三大平臺里，云是前提，是基礎。過(guò)去我講過(guò)很多次，云計算其實(shí)在計算量越來(lái)越大、數據越來(lái)越多、越來(lái)越動(dòng)態(tài)、越來(lái)越實(shí)時(shí)、越來(lái)越需要結構化的產(chǎn)業(yè)背景下被催生出來(lái)的一種基礎架構和商業(yè)模式。無(wú)論是云計算本身、或是智能終端，還是凌駕于云和端之上的，基于社會(huì )化網(wǎng)絡(luò )的平臺和應用，都會(huì )讓數以百億計的機器、企業(yè)、個(gè)人隨時(shí)隨地都在獲取和產(chǎn)生新的數據，即使是在摩爾定律的支撐下，計算設備硬件性能進(jìn)化的速度也早已趕不上數據增長(cháng)的速度，并且這一問(wèn)題會(huì )日漸嚴峻——這樣的背景下，只有云才能解決“賦予數據以更大價(jià)值”的問(wèn)題。這也就引出了新的話(huà)題，也是最近這段時(shí)間產(chǎn)業(yè)和社會(huì )都非常關(guān)注的“大數據”的話(huà)題。
“大數據“的崛起
如今，大數據的重要性越來(lái)越明顯，但就和云計算一樣，它也不是一個(gè)從天而降的新概念，而是在三個(gè)主要因素的驅動(dòng)下，逐步成長(cháng)成熟的。
第一個(gè)驅動(dòng)力，就是業(yè)界常說(shuō)的大數據的三個(gè)V(Volume, Variety, Velocity)，而這三個(gè)V可以有多種解讀。
首先來(lái)看看第一個(gè)V，巨大的數據量與數據完整性。IT業(yè)界所指的數據，誕生不過(guò)60多年。而一直到PC普及到千家萬(wàn)戶(hù)之前，由于存儲、計算和分析工具的技術(shù)和成本限制，許多自然界和人類(lèi)社會(huì )值得記錄的信號，并未形成數據——幾十年前，氣象、地質(zhì)、石油物探、出版業(yè)、媒體業(yè)和影視業(yè)是大量、持續產(chǎn)出信號的行業(yè)，但那時(shí)90%以上采用的是存儲模擬信號，難以通過(guò)計算設備和軟件進(jìn)行直接分析。那些擁有大量資金和人才的政府和企業(yè)，也只能把少量最關(guān)鍵的信號，進(jìn)行抽取、轉換、裝載到數據庫中。
值得注意的是，業(yè)界對達到怎樣的數量級才算是大數據并無(wú)定論，其實(shí)在很多行業(yè)的應用場(chǎng)景里，數據集本身的大小并不是最重要的，是否完整才最重要。
第二個(gè)V，在海量、種類(lèi)繁多的數據間發(fā)現其內在關(guān)聯(lián)。互聯(lián)網(wǎng)時(shí)代，各種設備通過(guò)TCP/IP網(wǎng)絡(luò )連成了一個(gè)整體。進(jìn)入Web 2.0時(shí)代，PC用戶(hù)不單單可以通過(guò)網(wǎng)絡(luò )獲取信息，還成為了信息的制造者和傳播者。這個(gè)階段，不僅是數據量開(kāi)始了爆炸式增長(cháng)，數據種類(lèi)也開(kāi)始變得繁多——從技術(shù)角度看，可以稱(chēng)之為結構化數據、半結構化數據、非結構化數據和流式數據。我記得2005年，微軟亞洲研究院一年一度的“21世紀的計算”大會(huì )將主題設定為“Data Centric Computing”，也就是“以數據為中心的計算”，那時(shí)我們就已建立了這樣的認知：價(jià)值來(lái)自于數據，或者說(shuō)，數據一直都是有價(jià)值的商業(yè)資產(chǎn)——此前，人們往往過(guò)于重視“計算和存儲性能的提升”；而從那時(shí)起，我們就已更關(guān)注“數據分析和處理的效率”——對海量數據進(jìn)行分析、處理和集成，找出原本看來(lái)毫無(wú)關(guān)系的那些數據的“關(guān)聯(lián)性”，把似乎沒(méi)有用的數據變成有用的信息，以支持我們做出的判斷。
第三個(gè)V，可以理解為更快地滿(mǎn)足實(shí)時(shí)性需求。如今，通過(guò)各種有線(xiàn)和無(wú)線(xiàn)電網(wǎng)絡(luò )，人和人、人和各種機器、機器和機器之間無(wú)處不在的連接，這些連接不可避免地帶來(lái)數據交換，而數據交換的關(guān)鍵是降低延遲——要解決數據產(chǎn)生、傳輸、處理、存儲、抽取、分析、可視化等各個(gè)環(huán)節帶來(lái)的延時(shí)，以近乎實(shí)時(shí)（這意味著(zhù)小于250毫秒）的方式呈獻給用戶(hù)。
如今，數據的實(shí)時(shí)化需求越來(lái)越清晰。用戶(hù)想駕車(chē)去吃飯，先用地圖應用查詢(xún)餐廳的位置、預計行車(chē)路線(xiàn)的擁堵情況、停車(chē)場(chǎng)信息甚至是其他用戶(hù)對餐廳的評論。吃飯的過(guò)程中，他會(huì )用手機拍攝食物的照片，編輯簡(jiǎn)短的評論，發(fā)布到微博上，還可以用LBS應用查找在同一間餐廳吃飯的人，看有沒(méi)有好友在附近……
第二個(gè)驅動(dòng)力，是云計算的普及和成為主流。經(jīng)常有一些朋友會(huì )問(wèn)我說(shuō)，云計算和大數據到底有什么區別？前兩年大家都在講云計算，現在怎么又變成大數據了？其實(shí)，云計算和大數據是一個(gè)硬幣的兩面，云計算是大數據的IT基礎，而大數據是云計算的一個(gè)殺手級應用。由于云計算的普及和成為主流，讓上述三個(gè)V不再成為挑戰，反而成為大數據成長(cháng)的驅動(dòng)力。另一方面由于數據越來(lái)越多、越來(lái)越復雜、越來(lái)越實(shí)時(shí)，這就更加需要云計算去處理，所以二者之間是相輔相成的。舉例而言，30年前存儲1TB數據的成本大約是16億美元，如今存儲到云上只需不到100美元；但存儲下來(lái)的數據，如果不以云計算進(jìn)行挖掘和分析，就只是僵死的數據，沒(méi)有太大價(jià)值。
第三個(gè)驅動(dòng)力，是人工智能、機器學(xué)習和數據挖掘等技術(shù)的迅速發(fā)展。在這樣的背景下，微軟已經(jīng)可以為用戶(hù)提供三個(gè)層次的端到端大數據解決方案——其一是數據管理，即如何獲取、存儲和保護數據；其二是數據豐富，即如何清洗、發(fā)現不同數據間的數據相關(guān)性；其三是，數據洞察力，即通過(guò)分析、呈現與決策工具，獲得洞察力，并最終通過(guò)付諸行動(dòng)，產(chǎn)生價(jià)值。
通俗的說(shuō)，就是將信號轉化為數據，將數據分析為信息，將信息提煉為知識，以知識促成決策和行動(dòng)。歸根到底，大數據的最終意義在于獲得洞察力和價(jià)值，這也正是大數據的第四個(gè)V（Value），這個(gè)V比前面的三個(gè)V都更重要。
