國家超級計算濟南中心（以下簡(jiǎn)稱(chēng)“濟南超算中心”）超算平臺數據中心機房規劃面積約10000平方米，建成后可容納20000臺標準服務(wù)器，如此大規模的機房，如何建設才能打造節能降耗的綠色數據中心，從而降低超算中心運營(yíng)成本呢？
數字時(shí)代高性能計算的發(fā)展速度日新月異
數據中心是數字經(jīng)濟時(shí)代的核心基礎設施和國家戰略資源，它的本質(zhì)是將電力轉化為算力。從古希臘時(shí)期的著(zhù)名數學(xué)家畢達哥拉斯提出的“萬(wàn)物皆數”的觀(guān)點(diǎn)，到如今真正邁入“萬(wàn)物皆可算”的時(shí)代；從珠算的古老智慧，到超算的超能力；我們的認知和算力不斷地突破極限，且遠遠沒(méi)有止步。隨著(zhù)數字化需求的飛速增長(cháng)，算力的發(fā)展速度也日新月異。
現如今，超算已經(jīng)成為現代社會(huì )必不可少的重要基礎設施，歐美等發(fā)達國家30%以上的高技術(shù)產(chǎn)業(yè)都有賴(lài)于超算支撐，山東省新ICT技術(shù)、醫養健康、高端裝備、新能源新材料等新舊動(dòng)能轉換重大工程產(chǎn)業(yè)的發(fā)展也離不開(kāi)超算，它們的高算力需求應用，每一年的計算資源用量呈3-5倍的增長(cháng)，對數據存儲和管理需求也越來(lái)越高。
目前，全球各國競相研發(fā)部署E級超算。濟南超算中心便是參與世界首個(gè)E級超算研發(fā)項目的超算之一。E級超算一秒鐘可以進(jìn)行一百億億次數學(xué)運算，拿目前中國最快的超算神威·太湖之光來(lái)說(shuō)，它的峰值運算速度是每秒12.5億億次，而E級超算的計算能力是這個(gè)峰值的8倍，它1分鐘的算力相當于70億人同時(shí)拿計算器不間斷計算約273年。
如此大規模、高性能的計算，功率密度也在不斷提升，而且要長(cháng)期運行在高負荷率條件下，超算平臺的數據中心將面臨著(zhù)“能耗大戶(hù)”的問(wèn)題。
“雙碳”目標下數據中心能耗管控勢在必行
在全球變暖、地球環(huán)境狀況日益嚴峻的當下，綠色、節能、減排已成為全人類(lèi)的共識。當前，我國提出“碳達峰”和“碳中和”的宏偉目標，數據中心作為數字社會(huì )的基礎設施，能耗問(wèn)題再次受到社會(huì )各界廣泛關(guān)注。國家發(fā)改委明確到2025年，新建大型、超大型數據中心PUE不超過(guò)1.3，濟南超算中心數據中心的建設面臨著(zhù)節能的硬指標。
機房作為超算平臺最基礎的設施之一，是超算中心的核心所在地，超算主機、網(wǎng)絡(luò )、存儲、安全等基礎設施都將存放在這座數據中心機房?jì)取Ｒ虼耍岣叱阒行牡哪苄В瑢?ldquo;雙碳”目標下的節能減排有著(zhù)非常重要的意義，同時(shí)也是降低超算中心運營(yíng)成本的關(guān)鍵。
濟南超算中心希望能夠在數據中心的建設上獲得更快的建設周期、更精細化的管控和高可靠的運維，為角逐“超級計算機界的下一頂皇冠”以及為國民經(jīng)濟建設提供加速度打好堅實(shí)的底座。山東科普在實(shí)地勘測超算數據中心的場(chǎng)地后，決定采用華為智能微模塊解決方案。
華為智能微模塊主攻山東科普五鉆交付助攻
49套華為智能微模塊數據中心，機柜級在線(xiàn)平滑擴容，全力滿(mǎn)足國家超算濟南中心業(yè)務(wù)快速增長(cháng)的需求；59套UPS5000-E高效模塊化UPS，其中包含51套800K模塊化UPS，系統效率高達96%，低載高效，為超算平臺應用及產(chǎn)業(yè)發(fā)展提供信息基礎設施，助力超算平臺打造節能的綠色數據中心。
華為智能微模塊解決方案：
- 化零為整，讓機房建設更簡(jiǎn)單。所有部件工廠(chǎng)預制、預組裝、預測試，現場(chǎng)由山東科普交付工程師進(jìn)行安裝，縮短工期50%；全模塊化架構，快速部署，柔性擴容。
- 高效可靠，保障機房運行安全。通過(guò)供電全鏈路監測、預警和關(guān)鍵節點(diǎn)故障自動(dòng)隔離等手段，實(shí)現預測性維護。
- 告別繁瑣，運維管理一身輕松。PAD/手機APP近端管理，并可實(shí)現多網(wǎng)點(diǎn)遠程統一管理，實(shí)現預防性維護，提升故障響應速度；3D可視化用戶(hù)界面管理關(guān)鍵操作參數，實(shí)時(shí)顯示主設備運行狀態(tài)。
山東科普負責L2層中心區域及L3層外圍區域模塊化機房的建設，項目總面積約6000平米，共分為10個(gè)業(yè)務(wù)區域，在10個(gè)區域內共布置49套模塊化數據中心，包含1282臺機柜、660臺行級精密空調、智能母線(xiàn)及模塊化數據中心本地監控系統，由具備項目經(jīng)理及數據中心能源售后中級工程師資格的團隊進(jìn)行現場(chǎng)的施工管理和安裝交付。原定工期12個(gè)月，通過(guò)模塊化解決方案快速交付以及規范高效的施工管理下，整個(gè)數據中心機房建設提前三個(gè)月完工。同時(shí)提升數據中心可用性和可靠性等級，為各類(lèi)高性能計算業(yè)務(wù)服務(wù)提供更堅實(shí)的基礎。
華為智能母線(xiàn)節省柜位機房更高密
華為智能母線(xiàn)節省柜位機房更高密
未來(lái)，五年數據中心高密成為新常態(tài)，從供配備電都需要模塊化，華為智能母線(xiàn)是簡(jiǎn)單、高效、可靠的新型數據中心配電解決方案。項目采用接近200套小母線(xiàn)，省空間、易維護、易擴容，實(shí)現快速交付，解決高密供電問(wèn)題。
- 簡(jiǎn)單：支持柜頂支架/吊裝可選，完美匹配不同層高場(chǎng)景；插接箱、POE單板、開(kāi)關(guān)等部件支持熱插拔，便于維護維護簡(jiǎn)單，支持通道內維護。
- 高效：移動(dòng)插接，位置靈活，可滿(mǎn)足7kW/柜→21kW/柜靈活擴容；每個(gè)模塊可節省1~2個(gè)列頭柜位。
- 可靠：強弱電融合，集成智能管理卡，監控系統總線(xiàn)環(huán)網(wǎng)，運行狀態(tài)實(shí)時(shí)監測；全封閉外殼，IP30防護等級，壽命長(cháng)達25年，抗震烈度9級。
華為溫控解決方案輔助制冷更可靠
這么大規模機房的散熱和能耗如何管控呢？為了解決超算數據中心大型化、高密化、云端化的散熱難題，山東科普對傳統的制冷系統進(jìn)行了分析，傳統制冷送風(fēng)效率差，難以按需擴容，且架構繁多，熱點(diǎn)問(wèn)題頻現，很難維持超算機房所需的標準溫度。如果采用傳統制冷，需要空調不停的制冷，這就會(huì )不停的消耗電力，提供了算力，損失了電力，豈非得不償失？
據統計，數據中心年耗電量?jì)|達4000億kWh，而制冷設備耗電量占據了數據中心能耗的40%左右。因此，如果能將制冷能耗降低，就能很大程度地減少二氧化碳的排放。
在制冷設備節能降耗方面，華為走在了前面，打破傳統思維，利用行級和冷凍水摸索出了一套智能溫控解決方案，將冷凍水直接引入機柜間的冷凍水末端，更靠近熱源，制冷更可靠的同時(shí)，引入AI技術(shù)，將數據中心的能耗降低，為廣大大型數據中心機房的建設提供了很好的典范。
山東科普在濟南超算中心數據中心機房項目上，綜合考慮了用戶(hù)對數據中心高制冷效率、低PUE、高回報的需求，實(shí)施了華為智能溫控解決方案，安裝660臺行級冷凍水空調，本次超算中心布置的1282臺機柜全部為超高功率設計，根據承載業(yè)務(wù)不同分別為10KW/柜、14KW/柜、20KW/柜，為了防止局部熱點(diǎn)，保證IT設備的可靠運行，在設計時(shí)對每個(gè)模塊進(jìn)行了CFD仿真，確保行級空調的數量及布局滿(mǎn)足設備運行及冗余的要求。
如下圖所示，機房?jì)葎澐殖鲩g隔的冷熱通道。整個(gè)機房采用密閉熱通道技術(shù)，將機房?jì)鹊睦錈犸L(fēng)隔離開(kāi)，改善機房氣流組織，有效提高空調利用率，達到降低機房運行PUE、創(chuàng )造綠色節能機房的目的。
L3擴展機房M301機房熱通道CFD仿真圖
該方案具有高效制冷、高可靠性、高兼容性、智能監測、快速安裝、調試和便利維護等特點(diǎn)，隨著(zhù)超算數據中心的規模性應用，1到3年內便可為用戶(hù)收回投資成本。
- 高效制冷：EC高效風(fēng)機比普通風(fēng)機節能超過(guò)30％。冷凍水閥為增量PID控制，調節精度更高，控制更加準確。智能壓差控制，比普通風(fēng)機控制模式更節能。
- 高可靠性：群控組網(wǎng)提供合理的智能溫控產(chǎn)品輪巡、層疊、避免競爭運行、冷量動(dòng)態(tài)分配以及主控系統備份功能。雙路供電，主路斷電自動(dòng)切換到備路，主路來(lái)電會(huì )自動(dòng)切回主路。寬輸入電壓范圍，適應各種惡劣電網(wǎng)。智能壓差控制，解決風(fēng)量不足產(chǎn)生的熱點(diǎn)問(wèn)題。可配置10個(gè)溫濕度傳感器以監測機房溫濕度，可靠性更高。
山東科普攜手華為，基于成熟的硬件供應鏈體系，以及領(lǐng)先的技術(shù)、產(chǎn)品和解決方案，助力濟南超算中心將通用超算的算力普惠給更多的企業(yè)和科研機構，成為山東新舊動(dòng)能轉換重大工程“十強”優(yōu)勢產(chǎn)業(yè)發(fā)展的算力引擎。項目的成功交付，也為華為智能微模塊數據中心解決方案的部署打下堅實(shí)的基礎，為濟南超算平臺新舊動(dòng)能轉換提供可靠的、源源不斷的動(dòng)力支撐。未來(lái)，華為將繼續攜手更多合作伙伴，為“雙碳”目標的達成與數字經(jīng)濟的蓬勃發(fā)展貢獻力量。
