前面我們介紹了谷歌數據中心制冷模塊 ,下圖是機房?jì)榷嗯艡C柜單元和制冷單元的布置示意圖,我們可以更為清楚地看到制冷單元和整機柜是如何搭配的。機柜每三個(gè)一組,頂部的TOR放在三聯(lián)柜中間,每三個(gè)柜子依次排開(kāi)。兩排機柜間根據實(shí)際機柜的功耗和設備類(lèi)型,搭配不同數量的制冷模塊,比如高負荷的計算類(lèi)機柜列比存儲型的機柜列制冷模塊要多。如果出現部分區域的設備功耗密度較低,則可以多個(gè)三聯(lián)柜共享稍微少量的制冷模塊,這樣制冷模塊間的頂部空隙可以通過(guò)薄鐵皮來(lái)封閉熱通道,如下圖標簽418所示。如果某個(gè)三聯(lián)柜需要搬遷或者維修,則可以通過(guò)底部滾輪靈活由一個(gè)運營(yíng)人員就可容易推走,如下圖標簽424,但推走后的機柜位需要制冷模塊正面的鐵皮封板封堵住熱通道,以免整個(gè)封閉熱通道的熱氣流泄露到機房冷環(huán)境中,如下圖標簽為416的封板所示。
下圖是包含了數據中心制冷基礎設施的更為詳細的剖面圖,從這個(gè)圖我們可以清楚看到冷站604提供的冷凍水通過(guò)地板下維護空間內(考慮地板下管路檢修維護需要,實(shí)際goolge某個(gè)項目的地板下高度高達122cm)的冷凍水管614和612,送到機柜上方的制冷模塊來(lái)帶走設備產(chǎn)生的熱量。冷站604包括了冷卻塔622、板式換熱器626、冷機620和水泵624/616等,采用三通閥等設計,可以選擇直接冷卻或間接冷卻。實(shí)際建設的時(shí)候,冷站也可以是模塊化的工廠(chǎng)預制單元,運送到機房現場(chǎng)和對應的多排機柜列對接即可投入使用,真正達到了模塊化快速建設的目的。冷站模塊間的冗余,也可以通過(guò)將這些不同的冷站模塊互聯(lián)到公共接頭的主環(huán)網(wǎng)中,通過(guò)互聯(lián)互通的環(huán)網(wǎng)結構來(lái)實(shí)現冷站間的冗余,即便某個(gè)冷站故障也不會(huì )影響整個(gè)系統。
實(shí)際Google的數據中心為了節能運行,會(huì )將機房的溫度設置得較高,整個(gè)機房作為冷通道,整體溫度場(chǎng)較為均勻,且較為適合運維人員操作。服務(wù)器的進(jìn)風(fēng)溫度往往高達27攝氏度甚至更高。熱通道內的溫度則高得多,甚至不適合于運維人員呆在里邊,因此服務(wù)器全部設計成冷通道前維護。比如熱通道內的溫度會(huì )高達43度以上,經(jīng)過(guò)頂部空調盤(pán)管降溫后的溫度約為25攝氏度,deltaT高達18度,這樣頂部空調的風(fēng)量可大大減少,風(fēng)扇也可低速運行功耗很低。同時(shí)整個(gè)機房采用高溫27攝氏度運行,冷凍水供水的溫度也可以設置在20攝氏度的高位溫度,回水溫度則約為40攝氏度,這樣高溫差運行也可大大節省水泵的功耗。如果冷凍水的供水溫度可以達到20攝氏度,這樣每年制冷主機真正需要開(kāi)啟的時(shí)間就非常少,甚至在歐洲的幾個(gè)數據中心都實(shí)現了無(wú)冷機運行,而冷機能耗是機房?jì)茸畲笠粔K,所以這些設計可以大大節約能耗。
為了支撐其百萬(wàn)量級的服務(wù)器需求,Google的數據中心通常建設面積都非常龐大,服務(wù)器數量更是數以好幾萬(wàn)計的規模。比如北卡數據中心光架空地板面積就接近2萬(wàn)平方米,據google數據中心主管holtz介紹,當時(shí)已投入運行服務(wù)器多達五萬(wàn)臺。由于選址多為遠離城市的郊外地區,地廣人稀,所以其機房通常不像國內城市數據中心的多層建筑設計,而往往采用單層的大開(kāi)間框架式結構,更為節能環(huán)保,功能單元布局和人流、物流也更為合理。