互聯(lián)網(wǎng)行業(yè)是大數據的正兒八經(jīng)的“大客戶(hù)”，無(wú)論是從海量、速度、實(shí)時(shí)、類(lèi)型等任何角度都當之無(wú)愧。在成為用戶(hù)最多的中國互聯(lián)網(wǎng)公司后，騰訊這只專(zhuān)下“金蛋”的企鵝所掌握的用戶(hù)數據量也日益豐富。
如果說(shuō)阿里巴巴擁有90%以上的電商數據，百度擁有70%以上的搜索數據，騰訊的“金蛋”無(wú)疑是大量社交、游戲等領(lǐng)域積累的文本、音頻、視頻和關(guān)系類(lèi)數據。這些數據是騰訊后來(lái)在多元業(yè)務(wù)擴展時(shí)屢試不爽的重型武器，有分析人士說(shuō)，“數據挖掘”才是騰訊最具門(mén)檻性質(zhì)的技術(shù)。
無(wú)論是云，通過(guò)網(wǎng)絡(luò )隨需調用的計算資源；大數據，關(guān)聯(lián)的可分析在線(xiàn)數據；還是各種智能終端，都要依托互聯(lián)網(wǎng)，同時(shí)這些工具又幫助互聯(lián)網(wǎng)從中掘金。當然，在數據成為“金蛋”前還有個(gè)前提，就是獲取數據，并有效的梳理與標簽。
騰訊公司數據平臺助理總經(jīng)理蔣杰曾驕傲地表示，在國內互聯(lián)網(wǎng)體系中，騰訊擁有的數據覆蓋多個(gè)領(lǐng)域，總存儲數據量經(jīng)壓縮處理以后在100PB左右。騰訊QQ目前擁有8億用戶(hù)，4億移動(dòng)用戶(hù)，在數據倉庫存儲的數據量單機群數量已達到4400臺，總存儲數據量經(jīng)壓縮處理以后在100PB左右，并且這一數據還在以日新增200TB到300TB，月增加10%的數據量不斷增長(cháng)，現在騰訊的數據平臺部們正在為1000個(gè)PB做準備。
如果對各種TP和PB還缺乏感性認識，可以用幾個(gè)每天都會(huì )用到的業(yè)務(wù)說(shuō)明騰訊目前數據量的龐大：僅QQ以及微信用戶(hù)每天上傳的照片，就是中國一個(gè)中型互聯(lián)網(wǎng)公司一個(gè)月的數據量；2014年除夕夜的高峰時(shí)段，每分鐘有1000萬(wàn)條微信、3270萬(wàn)條QQ信息發(fā)出；微信團隊專(zhuān)門(mén)為一些高頻祝福語(yǔ)設置了隱形的彩蛋功能，比如微信內容中出現“萬(wàn)事如意、大吉大利”，屏幕上就會(huì )乒乒乓乓掉落很多桔子……事后統計，除夕當天中國人的手機上共掉落了65億多個(gè)桔子，如果榨成汁，足夠灌滿(mǎn)289個(gè)水立方。
“微模塊”之路
要應對不斷爆炸的業(yè)務(wù)數據需求，騰訊的數據中心部門(mén)一直處于“連跑帶顛”的追趕狀態(tài)。“業(yè)務(wù)部門(mén)對我們的要求經(jīng)常以‘周’甚至‘天’為周期。”騰訊網(wǎng)絡(luò )平臺部數據中心架構師李典林表示，正是快速、靈活、可擴展、高能效的要求，讓騰訊自然而然地走上了微模塊數據中心的道路。
從2010年起，騰訊已經(jīng)推出了幾個(gè)版本的微模塊數據中心；經(jīng)過(guò)不斷測試驗證，目前已經(jīng)形成了定型的版本。目前，騰訊對微模塊數據中心的標準定義是，以若干機架為基本單位，包含制冷模塊、供配電模塊以及網(wǎng)絡(luò )、布線(xiàn)、監控在內的獨立的運行單元。“麻雀雖小，五臟俱全”，這是李典林對騰訊微模塊數據中心的形象評價(jià)。
騰訊的模塊化數據中心設計遵循“從小到大”的原則，即從機架、IT微模塊、機房模塊、建筑單體和園區逐層設計；而模塊化數據中心建設遵循“從大到小”的原則，即從園區、建筑單體、機房模塊、IT微模塊到機架逐層實(shí)施。“如果把服務(wù)器看成標準磚頭，機柜看成廚房/陽(yáng)臺/洗手間，微模塊就是小戶(hù)型套房。通過(guò)微模塊，我們可以不斷復制堆疊，形成機房樓，乃至整個(gè)園區。”
騰訊的微模塊數據中心在制冷和供電方式實(shí)現了諸多創(chuàng )新。據李典林介紹，騰訊的微模塊數據中心不再采用傳統的架高地板制冷模式，而是采用了行級空調近距離送風(fēng)以及冷通道密封技術(shù)，這大大減少了制冷的耗能和成本。
在供電方面，李典林表示，騰訊大多數數據中心已經(jīng)不再采用傳統的UPS，而是轉而采用“高壓直流（50%）+市電（50%）”的供電模式。“采用這種供電方案后，市電沒(méi)有中間轉換損耗，效率高達100%;高壓直流側可采用節能休眠模式，全負載范圍內可以達到94%以上高效率。因此，綜合供電效率高達97%。此外，未來(lái)還可以無(wú)縫升級成市電主供+高壓直流后備的供電模式，達到99%以上供電效率。”
位于深圳龍崗區國人通信科技園的坪山數據中心，是深圳聯(lián)通為騰訊量身訂制的數據中心，騰訊負責合建數據中心及微模塊相關(guān)技術(shù)標準和規范的制定，而中興通訊集團下屬的中興網(wǎng)信則擔任工程設計建設總承包商的角色。由于坪山中心是聯(lián)通根據騰訊的需求訂制的，因而簡(jiǎn)化了傳統運營(yíng)商數據中心根據客戶(hù)需求進(jìn)行改造的過(guò)程。“標準的模塊化數據中心，用戶(hù)唯一的界面就是微模塊，不會(huì )出現傳統數據中心角落能量不夠或者局部熱點(diǎn)等問(wèn)題。在智能化方面，我們做了很多觸摸屏，用來(lái)隨時(shí)了解運行狀況，查看精細化的報表，未來(lái)還會(huì )與動(dòng)力系統連接起來(lái)，達到智能運行。”
“坪山數據中心完全由微模塊組成，一期建設20個(gè)微模塊，二期建設40多個(gè)微模塊，總共部署了1200多個(gè)機柜。整個(gè)項目從裝修進(jìn)場(chǎng)到完工，只花了4個(gè)多月的時(shí)間，二期40個(gè)微模塊從進(jìn)場(chǎng)安裝到通過(guò)測試驗證只用了45天時(shí)間，充分體現了微模塊易復制、部署速度快的優(yōu)勢。”
在坪山數據中心的建設過(guò)程中，騰訊部署了由12個(gè)機柜和18個(gè)機柜組成的兩種不同的微模塊。“我們在有柱子的地方部署由12個(gè)機柜組成的微模塊，在沒(méi)有柱子的地方部署由18個(gè)機柜組成的微模塊，這種部署方式幫助我們實(shí)現了空間的靈活利用，”李典林說(shuō)。此外，微模塊內部的電源模塊、行間空調數量等可以根據IT機柜功率靈活配置數量，滿(mǎn)足不同功率密度的需求，目前微模塊內可支持的最大機柜功率達到12KW。
作為工程建設實(shí)施方的中興網(wǎng)信數據業(yè)務(wù)部部長(cháng)閆朝貴表示：“快速部署和標準化是模塊化數據中心的特點(diǎn)，兩者缺一不可。在實(shí)施過(guò)程中不僅要考慮如何快捷部署，也要考慮產(chǎn)品的標準化和通用性。快速部署是通過(guò)組件在工廠(chǎng)預安裝，到現場(chǎng)快速連接來(lái)實(shí)現。而模塊內部的機柜、線(xiàn)槽、電纜、開(kāi)關(guān)和管道等都采用業(yè)界標準設計，降低了客戶(hù)的維護成本。”
通過(guò)綜合采用各種技術(shù)，如高壓直流+市電直供的供電方式、行級制冷和冷通道密封技術(shù)，空調系統變頻節能等技術(shù)，使氣流循環(huán)的路徑最短，節能10%以上。“在深圳這樣的亞熱帶城市，數據中心PUE（Power Usage Effectiveness，數據中心消耗能源總量與IT負載使用的能源之比，越接近1表明能效越高）保持在1.7是一個(gè)不錯的水平了，全國數據中心的平均水平在2.0左右，坪山數據中心在投產(chǎn)三分之一負載的情況下PUE值達到1.5，我們非常有信心在滿(mǎn)負載的情況下PUE降到1.4。”李典林說(shuō)。雖然只是小小的0.1的變化，但對于數據中心這樣的耗電大戶(hù)來(lái)說(shuō)，PUE每下降0.1，就意味著(zhù)每年上千萬(wàn)元電費的節省。
李典林對于Google、Fecebook等國外互聯(lián)網(wǎng)巨頭的數據中心能達到1.2甚至1.1以下的PUE非常羨慕，但缺乏天然冷源的深圳要達到這一數值的可能性幾乎為零，他只能將希望寄托在身處北方的騰訊天津數據中心，這座亞洲最大的數據中心總建筑面積9.33萬(wàn)平方米，預計服務(wù)器托管能力超過(guò)10萬(wàn)臺，建成后PUE將達到1.3左右的水平。
作為騰訊第一座大規模的純模塊化數據中心，坪山中心的建設規格很高，未來(lái)騰訊的微信、游戲等明星業(yè)務(wù)都會(huì )轉移到坪山數據中心，據李典林透露，目前微信的備份內容已經(jīng)遷移過(guò)來(lái)。
默認路徑
“微模塊數據中心將是騰訊未來(lái)的數據中心建設思路。”李典林說(shuō)。微模塊數據中心在互聯(lián)網(wǎng)行業(yè)得到賞識和推廣，源于其特點(diǎn)與互聯(lián)網(wǎng)公司的需求有眾多契合，這里面最重要的是：創(chuàng )新技術(shù)傾向與掌控力、快、靈活、標準與規模。
大型互聯(lián)網(wǎng)公司的業(yè)務(wù)多變性，對服務(wù)器、網(wǎng)絡(luò )、IDC資源的彈性需求非常大，因此互聯(lián)網(wǎng)公司一般擁有較強的技術(shù)團隊，把控著(zhù)從服務(wù)器到網(wǎng)絡(luò )設備，再到數據中心系統的優(yōu)化定制——將自己對業(yè)務(wù)的需求轉化為定制硬件需求，并以產(chǎn)品化的思維進(jìn)行開(kāi)發(fā)和快速迭代，這是互聯(lián)網(wǎng)公司的區別于傳統商業(yè)IDC或企業(yè)數據中心的地方。
根據IDC數據中心趨勢研究人員Michelle Bailey的說(shuō)法，數據中心的模塊化模式有望在未來(lái)5年內成為建造數據中心幾乎默認的方法，模塊化數據中心將成為未來(lái)數據中心發(fā)展的趨勢之一。
“其實(shí)，目前國內對數據中心的投資力度其實(shí)并不低于4G。”閆朝貴表示，正是因為國內風(fēng)起云涌的數據中心投資熱，讓多年聚焦海外市場(chǎng)的中興網(wǎng)信回歸國內市場(chǎng)，也帶回了在蘇丹、白俄羅斯等地多個(gè)國際公認最高規格的Tier4數據中心及國家級數據中心的設計建設經(jīng)驗。而相比起國外流行一時(shí)的集裝箱式數據中心，微模塊化數據中心的部署方式似乎更討得國內客戶(hù)的歡心。
與傳統數據中心相比，采用微模塊化的數據中心擴展性成為一大亮點(diǎn)——數據中心的管理員只需要根據用戶(hù)的不同需求將相應數量的微模塊安放到位，在各模塊之間連接主干鏈路就可以完成網(wǎng)絡(luò )的擴展。
作為數據中心基礎設施的重要組成部分，將網(wǎng)絡(luò )、供電、制冷、消防、監控等等采用模塊化方案部署后，數據中心的建設方式發(fā)生了較大變化——將數據中心的設計和大部分施工轉移到工廠(chǎng)進(jìn)行預先定制，在將各功能模塊運輸到現場(chǎng)，以“搭積木”方式配合客戶(hù)投資和業(yè)務(wù)發(fā)展需求進(jìn)行搭建，從而靈活實(shí)現分期建設，大大提升數據中心效率。
互聯(lián)網(wǎng)企業(yè)數據中心建設多采用模塊化建設，一個(gè)或幾個(gè)微模塊支持某一類(lèi)型的應用，當新應用功能出現時(shí)，相應的增加新數據中心微模塊，如Google、Facebook、Yahoo等都開(kāi)始采用微模塊方式建設其數據中心。這些巨頭從IT設備層面深度定制，微模塊設計更為精簡(jiǎn)和標準化，都是云時(shí)代IT及基礎設施深度定制的經(jīng)典案例，也是國內數據中心微模塊未來(lái)發(fā)展的方向。
