1. 概述
近年來(lái)隨著(zhù)云計算技術(shù)的快速發(fā)展，全球數據中心開(kāi)始向著(zhù)巨型化的方向發(fā)展，單機柜功率密度不斷提高，5KW、7KW、10KW甚至幾十KW功率機柜已逐步成為常規配置。新一代數據中心更顯著(zhù)的表現為：規模更大、密度更高、制冷要求更高、局部過(guò)熱成為常態(tài)等特點(diǎn)。數據機房的高功率密度化對空調系統的制冷及機房散熱提出了更高的要求，空調系統短時(shí)間的供冷中斷都會(huì )造成IT設備過(guò)熱宕機，傳統風(fēng)冷空調的制冷方式已無(wú)法滿(mǎn)足機房制冷需求。如何保障新一代數據中心空調系統的能夠長(cháng)期、持續、穩定的為數據中心機房提供所需的環(huán)境溫度、濕度成為每個(gè)數據中心運維管理人員必須面臨的問(wèn)題，而空調系統的供電方式對上述保障要求能否達到起著(zhù)關(guān)鍵作用。
從國內數據中心的發(fā)展來(lái)看，由于功率密度的提高，新一代數據中心尤其是大型數據中心基本采用制冷效率更高的水冷空調系統來(lái)滿(mǎn)足持續上升的制冷需求。本文中筆者主要結合自身工作經(jīng)驗主要針對水冷空調系統的供電方案設計及一些常見(jiàn)問(wèn)題進(jìn)行分析和探討。
2. 新一代數據中心與傳統數據中心的差異
傳統數據中心一般功率密度較低，多數單機柜功耗低于2KW，在空調系統故障停止供冷時(shí)，只要保持IT設備供電連續，通過(guò)增加風(fēng)機、開(kāi)窗等手段仍可保持數據中心連續不中斷運行，因此在傳統數據中心的運維管理中空調系統的重要性往往不像供電那樣受到重視。新一代數據中心對運維管理的重點(diǎn)進(jìn)行了重新定義，空調系統與數據中心供電一樣決定著(zhù)數據中心能否安全穩定運行。筆者在工作中按照ASHARE標準測試方法，利用假負載對模擬了一個(gè)設計功耗5KW/機柜機房失去空調制冷后機房溫度上升情況。試驗選擇一個(gè)350平米機房?jì)龋瑱C房?jì)劝惭b機柜158個(gè)。測試前啟動(dòng)假負載和空調，使機房溫度達到數據機房正常運行穩定狀態(tài)。關(guān)閉機房?jì)蓚饶┒丝照{模擬空調失去供冷。空調制冷系統停止運行后，靠機房空間的冷量只能維持不到3分鐘。
由此可見(jiàn)隨著(zhù)IT設備功率密度的不斷提升，數據機房允許的空調停止運行時(shí)間已成為分鐘級，在此條件下通過(guò)運維人員“現場(chǎng)維修”來(lái)排除空調系統故障恢復機房制冷已不再可能。空調系統短時(shí)間停止運行都會(huì )造成機房?jì)葻崃康目焖俣逊e，并引發(fā)設備高溫宕機，因此保障空調系統安全穩定運行的供電系統的重要性也進(jìn)一步凸顯。
3. 高功率密度數據中心水冷空調系統的供電設計注意事項
新一代數據中心典型的空調水冷系統的結構基本都是由下屬三大部分組成：
（1） 由冷卻塔+冷卻水泵+冷卻水供水及回水管路組成的空調冷卻水系統；
（2） 由冷水機組+冷凍水泵+冷凍水供水、回水管路組成的空調冷凍水系統；
（3） 由分水器+末端空調+風(fēng)機盤(pán)管+集水器+冷凍水泵組成的空調制冷量分配系統。
同時(shí)為保證冷凍水供水和冷卻水供水系統均能可靠、穩定運行，設計中將冷水機組、冷凍水泵、冷卻水泵分水器、集水器、主管路等都設計成1+1冗余備份方式。盡管空調系統的設計中采用了冗余等多重保障措施，但若空調系統供電設計中一些缺陷仍然離不開(kāi)一個(gè)高可靠的供電系統來(lái)保證空調系統可以持續穩定的為數據機房提供制冷。
3.1 水冷空調系統供電方案的常規設計
水冷空調系統供電設計中冷凍水泵、冷卻水泵、末端空調等關(guān)鍵設備一般采用雙路市電+ATS開(kāi)關(guān)的冗余型供電方案：
對于采用低壓油機作為后備電源的數據中心，空調系統一般設計為有油機保障的雙路市電輸入+ATS開(kāi)關(guān)，正常運行時(shí)兩路市電首先饋送至ATS開(kāi)關(guān)，并可以選擇其中一路作為主用，另一路作為備用。正常運行時(shí)由作為主用的一路向水泵、末端空調等設備供電，當主用路故障是可以自動(dòng)切換至備用路工作。ATS開(kāi)關(guān)的轉換可以在秒級時(shí)間內完成，秒級的中斷完全滿(mǎn)足空調系統停止運行時(shí)間要求。
對于采用高壓油機作為后備電源的數據中心，由于目前一些地區的電力主管部門(mén)往往會(huì )對高壓油機的自動(dòng)投切進(jìn)行限制，人工投切會(huì )延長(cháng)高壓油機供電恢復時(shí)長(cháng)，因此多數空調系統供電設計中會(huì )為末端空調和冷凍水泵配置UPS、EPS等不間斷電源保證在高壓油機投切器件的連續供冷。
3.2 水冷空調系統供電方案設計中應避免“單點(diǎn)故障”
在上述兩種常規設計中均采用ATS作為實(shí)現雙路供電自動(dòng)切換的關(guān)鍵器件，可滿(mǎn)足一般但從ATS實(shí)際應用效果看ATS仍然存在一定的故障率導致該動(dòng)作不動(dòng)作或誤動(dòng)作等。ATS承載下端所有水泵或末端空調的負荷，存在明顯單點(diǎn)故障，ATS故障將導致下端所有設備斷電。對于高功率密度的數據機房，ATS故障可造成末端空調停止供冷機房溫度快速上升或冷凍水泵停轉末端空調無(wú)冷量補充進(jìn)而造成機房高溫宕機風(fēng)險。為避免將所有雞蛋放在一個(gè)籃子中的風(fēng)險，為末端空調配電系統增加一個(gè)ATS開(kāi)關(guān)，將相互間隔的空調分屬不同配電系統，提高高功率密度數據機房安全性。
3.3 水冷空調系統供電方案設計中應考慮“連續制冷”
由于高功率密度數據機房在空調失去制冷條件下機房溫度累積非常迅速，空調設備短時(shí)間停止供冷就可造成IT設備高溫宕機。因此在進(jìn)行新一代數據中心的規劃設計時(shí)應充分考慮到連續制冷的必要性。一種觀(guān)點(diǎn)認為，在數據中心設計階段進(jìn)行負荷評估時(shí)往往大于后期實(shí)際裝機的負荷，因此認為過(guò)度強調連續制冷一方面會(huì )造成空調系統配電設備投資的加大，另一方面還可能造成后期設備利用率低等問(wèn)題。但按照IT技術(shù)的發(fā)展趨勢，每5年左右功率密度會(huì )有一次技術(shù)更新，而數據中心一般設計生命周期一般不低于30年，因此在數據中心的規劃設計階段必須考慮到后期擴容和技術(shù)更新。
數據中心連續制冷的完整解決方案不僅包括空調末端、冷凍水泵的不間斷運行，還應設置蓄冷罐儲備一定的冷凍水用于冷水機組停止工作時(shí)可以通過(guò)蓄冷罐向空調水系統補充冷水。為空調末端和冷凍水泵均配置UPS保持數據機房的末端空調在市電停電、高壓油機恢復供電前機房?jì)瓤諝饫^續循環(huán)流動(dòng)，轉將冷凍水管路中冷凍水繼續被輸送至空調末端機房提供冷量，儲存在蓄冷罐內的冷凍水補充到管路中為冷凍水管路中繼續補充冷量以滿(mǎn)足連續制冷需求。
解決空調系統連續制冷需增加蓄冷罐、UPS、蓄電池組及管路等，這些會(huì )增加數據中心建設初期的投資，但會(huì )是數據中心后期業(yè)務(wù)發(fā)展的適應性大大增強。一旦建設初期未設計待后期再行優(yōu)化改造不僅增加帶業(yè)務(wù)改造的風(fēng)險而且會(huì )造成投資進(jìn)一步加大。目前部分新建數據中心出現的因前期未考慮連續制冷投產(chǎn)后不滿(mǎn)足制冷需求而不得不進(jìn)行改造的案例很值得思考，上述情況的出現一方面因設計初期對功率密度的增長(cháng)缺乏長(cháng)期考慮，另一方面對高功率密度機房失去制冷情況下的溫升情況缺乏全面認識。
3.4 水冷空調系統供電方案設計中應考慮啟動(dòng)沖擊電流
對于冷凍水型空調系統，末端空調的主要耗電為風(fēng)機。風(fēng)機主要為感性負載，在電流突變時(shí)一般認為會(huì )產(chǎn)生較大的沖擊電流，尤其從靜止狀態(tài)突然啟動(dòng)，這一點(diǎn)在傳統AC風(fēng)機上表現更為突出；冷凍水泵則是典型的感性負載突加負載時(shí)沖擊電流更大，通常會(huì )達到額定負載的6、7倍。基于上述原因，通常認為如果給末端空調和水泵配置不間斷電源（UPS或EPS時(shí)）必須要考慮沖擊電流的容量。但從實(shí)際應用看，當末端空調或水泵的市電供電中斷時(shí)UPS蓄電池會(huì )立即通過(guò)逆變器承擔負荷，此時(shí)風(fēng)機或電機仍在高速旋轉，其沖擊電流與從靜止狀態(tài)突然加載時(shí)完全不同的。末端空調風(fēng)機一般功率較小，因此普通UPS完全可以作為備用電源，對于水泵類(lèi)負荷，應負荷較大可選用抗沖擊能力更大的EPS更為合適。
3.5 盡可能設置獨立的加濕器為機房加濕
在新一代數據中心冷水型空調系統的末端空調選型時(shí)，部分數據中心選擇帶加濕加熱功能的末端空調，但從筆者多年運維經(jīng)驗建議盡可能將機房制冷和加濕分開(kāi)處理。眾所周知，空氣濕度會(huì )隨著(zhù)溫度的變化而變化，尤其對于裝機過(guò)程中的數據機房由于機房安裝的機柜位置、單機柜發(fā)熱量等不同必然會(huì )造成不同位置溫度、濕度不同。制冷、加濕、加熱一體的末端空調為了達到設定的溫濕度值難以避免出現加熱與制冷打架、加濕與初始打架現象，大大增加了運行功耗。
采用專(zhuān)用加濕機，例如在機房安裝專(zhuān)用的水膜加濕機，不僅能耗大大降低而且可以有效避免上述打架現象，降低機房制冷整體能耗。
4. 小結
上述為筆者對日常運維管理工作的一些小的總結，若有不當之處歡迎與同道中朋友相互交流提高。數據中心的運維管理是一個(gè)復雜的體系，隨著(zhù)功率密度的不斷提高將面臨越來(lái)越多的問(wèn)題需要面對和解決，新一代數據中心的運維管理必將為各位運維管理人員開(kāi)啟一片新的天地。
