12月18日，由中國信息通信研究院、中國通信標準化協(xié)會(huì )、北京市大數據中心聯(lián)合主辦的“2020數據資產(chǎn)管理大會(huì )”在北京拉開(kāi)帷幕，會(huì )上信通院為通過(guò)大數據、數據庫等能力評測的產(chǎn)品頒發(fā)證書(shū)。華為云GaussDB（DWS）數據倉庫以單集群2048節點(diǎn)的超大規模，滿(mǎn)分通過(guò)測試認證，是迄今為止信通院認證的最大規模分布式數據庫集群，刷新了歷史紀錄，樹(shù)立了業(yè)界新標桿。
華為云GaussDB（DWS）為各企業(yè)用戶(hù)提供最佳性能、按需擴展、穩定可靠的企業(yè)級數據倉庫，滿(mǎn)足客戶(hù)超大規模數據的高性能查詢(xún)分析訴求。在本次大規模集群測試評估中，華為云GaussDB（DWS）一次性通過(guò)50項測試用例，包括27項必選用例和23項可選用例，交出了完美的答卷。
大規模數據倉庫集群不僅僅是將眾多服務(wù)器“攢”起來(lái)，更需要解決大并發(fā)復雜查詢(xún)下的通信連接風(fēng)暴問(wèn)題。并且在數千節點(diǎn)的集群中，平均每天都會(huì )有硬件故障發(fā)生，如何應對“硬件不可靠”帶來(lái)的問(wèn)題？如何在硬件亞健康情況下數據倉仍能提供穩定的性能，如何在操作系統“軟死”情況下數據倉庫不出現卡頓、無(wú)響應等問(wèn)題，是技術(shù)面臨的極大挑戰。在2048節點(diǎn)大規模集群認證的背后，是GaussDB（DWS）強大“硬核科技”的表現。
一、 Multi-Streams多流通信技術(shù)
在2048節點(diǎn)規模下，集群進(jìn)行全并行數據交換時(shí)，集群內可達百億級的并行連接，出現通信連接風(fēng)暴，已遠遠超出TCP連接端口號和socket文件句柄上限。
GaussDB（DWS）自研的Multi-Streams多流通信技術(shù)，將連接數提升5個(gè)數量級，突破物理機TCP連接端口限制，能夠支持集群內百億級通信連接，并且理論支持節點(diǎn)數無(wú)上限。
Multi-Streams多流通信采用邏輯連接技術(shù)，避免了TCP物理連接的三次握手的機制，單數據節點(diǎn)建連性能達到100萬(wàn)次/s，提升20倍。
該技術(shù)基于全異步無(wú)阻塞代理通信架構，支持跨邏輯連接的socket合并，將網(wǎng)絡(luò )吞吐能力提升3倍。
二、 高可用設計及集群管理技術(shù)
GaussDB（DWS）設計之初，充分考慮高可用性，其具備多層級高可用及容災能力，在進(jìn)程級、節點(diǎn)級、集群級出現軟硬件異常的情況下具備平滑處理能力。
在棘手的硬件亞健康、“軟死”問(wèn)題上，GaussDB（DWS）具備完善的智能檢測和處理機制，能夠實(shí)時(shí)監測任意節點(diǎn)狀態(tài)，包括服務(wù)器亞健康狀態(tài)、磁盤(pán)慢盤(pán)、靜默損壞等等場(chǎng)景，通過(guò)自動(dòng)感知、剔除、平滑切換等高可用策略，提高業(yè)務(wù)的連續性。
并且，在物理組件發(fā)生故障的情況下，Server端Multi-Retries技術(shù)能夠大幅減少故障失敗的業(yè)務(wù)感知，保障業(yè)務(wù)持續運行。
在集群管理上，針對超大節點(diǎn)數場(chǎng)景，通過(guò)邏輯重構，實(shí)現集群起停的全并行處理，2048節點(diǎn)規模下具備分鐘級起停能力。
三、 大規模場(chǎng)景下的并行數據備份恢復技術(shù)
- 完全在線(xiàn)：數據備份期間，采用全程無(wú)加鎖技術(shù)，任何業(yè)務(wù)SQL、包括DDL均不受影響
- 多層級并行極速備份：每節點(diǎn)獨立多并發(fā)、多通道備份，提供10PB級數據快速備份恢復性能
- 全局一致性快照：集群級全局一致性快照，數據強一致性保證
- 細粒度數據恢復：支持多粒度數據恢復，滿(mǎn)足客戶(hù)誤刪、個(gè)別表?yè)p壞等緊急恢復需求。
得益于包括以上三點(diǎn)在內的一系列核心技術(shù)，華為云GaussDB（DWS）一舉通過(guò)信通院2048節點(diǎn)大規模分布式分析型數據庫評測，成為國內首個(gè)單集群突破兩千的商用數據倉庫產(chǎn)品。
華為云GaussDB（DWS）數據倉庫已廣泛應用于金融、政府、運營(yíng)商、交通、物流、互聯(lián)網(wǎng)等領(lǐng)域，服務(wù)于全球1000+客戶(hù)。GaussDB（DWS）踐行"平臺+生態(tài)"戰略，聯(lián)合500+合作伙伴，為各行業(yè)提供競爭力的數據倉庫解決方案。
