京東第一個(gè)自建數據中心是位于宿遷的京東云華東數據中心，整體由4個(gè)模塊和1棟綜合大樓組成，總占地面積將近6萬(wàn)平方米，總投資30億元，可以提供20萬(wàn)臺的服務(wù)器安裝和運營(yíng)能力，存儲能力不小于32EB，計算能力不小于128千萬(wàn)億次每秒。
作為京東的標桿項目之一，京東集團CTO張晨曾多次在業(yè)界大會(huì )上講到：宿遷自建數據中心的綠色環(huán)保技術(shù)，貫穿于其整個(gè)生命周期。從最初的概念設計到施工建造，一直到投產(chǎn)后的運營(yíng)管理，保證數據中心年均PUE≤1.3（實(shí)測），在華東地區達到領(lǐng)先水平。
接下來(lái)我們將為大家揭秘京東自建數據中心的核心技術(shù)，通過(guò)《基礎設施篇》和《數據中心運營(yíng)篇》，揭開(kāi)它創(chuàng )新技術(shù)的神秘面紗。
一、制冷系統的技術(shù)創(chuàng )新
隨著(zhù)數據中心需求和規模的不斷擴大，建設成本和運行成本不可避免的會(huì )成為企業(yè)的考量指標。數據中心不僅耗電量巨大，耗冷量也不可小覷。據統計，數據中心空調系統的能耗一般占總能耗的20%-40%左右，其中制冷壓縮機的能耗又占到空調系統總能耗的70%-90%。
降低空調制冷系統的能耗，將會(huì )是提高數據中心能源利用率最直接和有效的措施。因此，利用自然冷源來(lái)解決數據中心的散熱問(wèn)題，成為京東自建數據中心創(chuàng )新技術(shù)的核心考量之一。
1、Freecooling自然冷卻系統
京東自建數據中心選址在江蘇宿遷地區，一年中大部分時(shí)間的溫度在-5~35℃之間，水資源豐富，屬于暖溫帶季風(fēng)氣候區。年均氣溫14.2℃，四季分明，初霜期一般在10月下旬。相對于嚴寒地區，室外設備被凍結故障的可能性較小，而利用的室外自然冷源的條件又比較充足。為了充分利用冬季室外天然冷源進(jìn)行自然冷卻，冷凍水系統設置了水-水不銹鋼板式換熱器，與冷水機組并聯(lián)。
系統中設計冷凍水供水溫度為10℃，實(shí)際運行中可以提高水溫，來(lái)提高系統運行整體效率并延長(cháng)自然冷卻時(shí)間。實(shí)際運行中，冷凍水系統在室外日平均溫度持續5天以上低于10度時(shí)，切換到自然冷卻系統使用，日平均溫度持續5天以上高于10度時(shí)，開(kāi)始退出。全年基本可以分為免費制冷季和常規制冷季。
京東IDC建設部技術(shù)專(zhuān)家黃軼彪談到：“我們在傳統的Freecooling技術(shù)基礎上，增加了一套自主設計的氣候環(huán)境采集控制系統，我們叫“平滑的連續調整”的Freecooling技術(shù)。利用這套技術(shù)，完全實(shí)現了制冷系統根據室內外環(huán)境溫度、濕度、系統負荷大小、平滑連續的調節各組件運行狀態(tài)，始終保持系統在最佳的效率區間。而且全年可以“免費”使用自然冷源的時(shí)間高達180天以上，直接節約電費數百萬(wàn)元以上。”
2、制冷系統
制冷系統是數據中心的重要組成部分，擔負著(zhù)為數據中心提供可靠生產(chǎn)環(huán)境的任務(wù)。京東在宿遷的自建數據中心，采用三級壓縮式冷水機組，結合水泵，冷塔變頻控制帶來(lái)很好的節能效果。空調制冷系統由冷源系統、管路系統、末端空調系統和輔助系統等構成，數據中心專(zhuān)門(mén)設置有制冷機房。
制冷設備采用4臺水冷離心式冷水機組，3+1配備。壓縮機形式為三級離心式，三級壓縮具有轉速低、運行平穩、低負荷工況好的特點(diǎn)，加大了機組制冷量的調節范圍，同時(shí)，在三級壓縮的過(guò)程中設置兩級節能器，與不帶經(jīng)濟器的冷水機組相比，相同制冷工況下節電量達到8-10%。
冷凍水系統的設計供回水溫度為10~16℃，主要設備采用N+1冗余配備，保證系統不會(huì )由于某一設備故障而受到影響。整個(gè)水系統管路采用環(huán)狀管路，設備之間設置雙閥門(mén)，保障系統可用性。并配備有在線(xiàn)式蓄冷罐，可以無(wú)間斷的為系統提供15mins備用冷源。空調制冷系統的整體設計滿(mǎn)足并高于Uptime Tier Ⅲ級別的要求。
3、空調末端系統
在京東宿遷自建數據中心的一期模塊中，主機房?jì)燃芸盏匕甯叨葹?.2米。這種較高的架空層有利于空氣靜壓的形成，使通風(fēng)地板的出口風(fēng)速平穩。同時(shí)也為地下保溫層和管線(xiàn)的維護提供了較大的空間。對于不同負荷的機柜，可調整通風(fēng)地板的開(kāi)孔面積分配冷量。機柜采用冷通道封閉的形式，使得空調送風(fēng)冷卻效率更高。
每個(gè)機房模塊配有獨立的直膨式新風(fēng)機組，室外新風(fēng)經(jīng)初效和中效過(guò)濾，并經(jīng)冷卻處理后送入房間，保證機房正壓需求。主機房、變配電室、電池室、UPS配電室等均采用水冷式精密空調，采用N+1配置方式。精密空調全部采用“UPS+市電”雙路供電，UPS電源為主用；同時(shí)為避免大量空調同時(shí)啟動(dòng)對電網(wǎng)造成沖擊，空調采取了延時(shí)策略。
京東IDC建設團隊對所選用的精密空調，采用了具備節能設計的產(chǎn)品，包括：
- 空調EC風(fēng)機葉輪采用航空級新型工程復合材料，質(zhì)量更輕，強度更高，也更加節能；
- 通過(guò)控制器根據實(shí)際冷負荷按比例設定送風(fēng)量，滿(mǎn)足外部變化的冷負荷，降低風(fēng)機消耗功率，進(jìn)一步實(shí)現節能；
- 優(yōu)化氣流通道，擴大回風(fēng)過(guò)濾器面積，減小內部壓強，降低風(fēng)機的功耗；
- 機組超大面積換熱器，將風(fēng)機模塊安裝在架空地板下，更好的利用機組的內部空間；
- 精密空調內置電極式加濕器，具有水處理系統，自動(dòng)檢測加濕罐中的雜質(zhì)含量并清除，減少了氧化結垢現象。
二、高可靠性的技術(shù)保障
京東在宿遷的自建數據中心，核心目標之一是全力保證負荷用電的高可靠性。服務(wù)器電源是整個(gè)數據中心供配電系統建設的重點(diǎn)，了解服務(wù)器電源的相關(guān)特性對于數據中心的供配電系統建設具有重要的意義。充分了解服務(wù)器電源的容量、冗余方式、制冷要求和能效設計等主要指標對于數據中心供配電系統的設計是十分必要的。
服務(wù)器冗余電源系統最終都可以歸結到雙電源系統上，如果雙電源服務(wù)器的每一路電源都能通過(guò)獨立的供電路由從獨立的電源取電，就能夠獲得最高的可靠性。
1、市電專(zhuān)線(xiàn)的供電系統保障
建立京東專(zhuān)屬的110KV開(kāi)關(guān)站成為達成高可靠性這一目標的絕佳途徑。110KV開(kāi)關(guān)站緊鄰京東宿遷自建數據中心園區，其上一級來(lái)自?xún)蓚�(gè)不同的220KV變電站專(zhuān)線(xiàn)。在110KV開(kāi)關(guān)站內設2臺變壓器，容量滿(mǎn)足整個(gè)數據中心園區的最大用電量。當兩臺變壓器任意一臺檢修或發(fā)生故障時(shí)，另一臺完全滿(mǎn)足園區內所有設備的正常用電需求。
數據中心自建變電站
機房?jì)人须娮有畔⒃O備都采用UPS供電，其中兩個(gè)生產(chǎn)機房和兩個(gè)網(wǎng)絡(luò )機房電子的供電模式為2N，其余六個(gè)生產(chǎn)機房的供電模式則為N+1。輔助設備電源采用“UPS+市電”的供電模式，單臺UPS后備蓄電池支撐時(shí)間不小于15分鐘。當一路市電電源故障時(shí)，故障回路負荷自動(dòng)切換給另一回路承擔。即使當兩路市電電源都發(fā)生故障，機房模塊內負荷由UPS蓄電池供電，同時(shí)備用柴油發(fā)電機組啟動(dòng)，向機房模塊、空調冷源、照明等負荷供電。
2、后備柴油發(fā)電系統
如果市電發(fā)生斷電，數據中心的發(fā)電系統會(huì )自動(dòng)投入運行，與市電自動(dòng)切換。并在限定時(shí)間內，由發(fā)電機組啟動(dòng)確保重要負載的緊急供電。油罐儲油量在無(wú)外部支援情況下滿(mǎn)足發(fā)電機組大于12h帶載連續運行，并有緊急供油協(xié)議作為后繼可靠保障，任意一套油路系統PLC控制出現故障時(shí)，自動(dòng)切換至另外一套PLC控制系統，保證系統供油的可靠性。當市電恢復，經(jīng)過(guò)人工確認后，手動(dòng)恢復市電供電。
京東在宿遷的自建數據中心，發(fā)電系統全部采用進(jìn)口一線(xiàn)品牌的柴油發(fā)電機組設備，具有良好的啟動(dòng)性能。配有發(fā)動(dòng)機缸套水加熱裝置，可以保證在低溫時(shí)，系統的快速啟動(dòng)和帶載能力。機組可以承受負載突加75%的突發(fā)狀況，保證發(fā)電機組快速啟動(dòng)后可以快速加載。對并機主控系統的冗余設計， 有效提高了并機系統的可靠性。發(fā)電機配置有防潮加熱器，防止因空氣濕度過(guò)高降低發(fā)電機絕緣性能而造成安全風(fēng)險。
供儲油系統在每個(gè)數據中心模塊中獨立設置，物理隔離。每個(gè)模塊配置兩個(gè)25立方埋地柴油儲罐，每個(gè)柴油罐配置一用一備2臺供油泵，兩罐之間配置一臺倒油泵。儲罐區至機房日用油箱間輸油管路為雙環(huán)路設計，具備在線(xiàn)檢修及容錯能力。
3、非晶合金變壓器
在宿遷自建數據中心項目中，IDC建設團隊選擇采用了非晶合金變壓器，它既有普通干式變壓器阻燃自熄、防潮、耐裂的優(yōu)良性能，又具有非常優(yōu)異的導磁性能，去磁與被磁化的過(guò)程極易完成。有利于降低損耗，增加有效載荷，提高效率。與普通干式變壓器技術(shù)參數相比較，空載損耗下降65%-70%，節能效果非常顯著(zhù)。
4、智能照明系統
京東在宿遷的自建數據中心，所有主機房都采用了分布式照明智能控制系統。人員進(jìn)入機房時(shí)，系統會(huì )根據感應打開(kāi)該部位的燈具，人員離開(kāi)時(shí)燈具則按設定的延時(shí)時(shí)間自動(dòng)關(guān)閉。無(wú)人員進(jìn)入機房時(shí)燈具能滿(mǎn)足運維監控的最低亮度，達到節能與自動(dòng)控制的目的。
三、實(shí)驗性技術(shù)創(chuàng )新—6sigma模擬仿真
京東IDC建設建設部負責人，首席技術(shù)專(zhuān)家張敬特別談到了在京東宿遷自建數據中心二期的建設中，IDC建設團隊引入的更多更前沿的實(shí)驗性項目，包括：“通過(guò)6sigma做CFD氣流仿真計算，了解IDC模塊內的氣流組織，溫度分布情況，根據服務(wù)器的不同負荷狀態(tài)，推算溫度升高變化。”
“通過(guò)建立數學(xué)模型推算和6sigma CFD系統的驗證，在確保服務(wù)器同等負荷狀態(tài)，以及滿(mǎn)負荷狀態(tài)，服務(wù)器的實(shí)際需求功耗不增加的前提下，逐步提高服務(wù)器的運行溫度，也就是數據中心模塊內的環(huán)境溫度。”張敬還談到：“于此同時(shí)，我們根據數學(xué)推算和CFD仿真驗證的結果，將會(huì )在二期的實(shí)驗模塊里引入一些更節能的冷卻技術(shù)。”
京東IT資源服務(wù)部負責人呂科認為：“數據中心行業(yè)是一個(gè)技術(shù)含量非常高的服務(wù)行業(yè)，它為企業(yè)大量的電子信息設備提供安全的場(chǎng)所、持續的電力、適宜的環(huán)境、穩定的網(wǎng)絡(luò )以及專(zhuān)業(yè)的運維服務(wù)。”
“這些表面看似簡(jiǎn)單的條件，背后卻需要一個(gè)龐大復雜的綜合系統來(lái)支撐。京東在人工智能，無(wú)人機，云計算等前沿科技領(lǐng)域，不斷推出提升億萬(wàn)用戶(hù)購物體驗的場(chǎng)景應用，正是基于我們持續技術(shù)創(chuàng )新的數據中心服務(wù)。數據中心在安全性和可靠性方面的不斷提高，一直會(huì )為這些創(chuàng )新技術(shù)的落地推廣、上線(xiàn)應用、穩定運行保駕護航。”
