戴爾科技的AI服務(wù)器業(yè)務(wù)增長(cháng)是整個(gè)基礎設施市場(chǎng)最新變化的一個(gè)縮影。去年以來(lái)企業(yè)對人工智能應用的熱情不斷高漲,ChatGPT、Sora的先后爆火更是為人工智能熱火上加油,帶動(dòng)了對AI基礎設施的強勁需求。為了滿(mǎn)足這些需求,戴爾科技推出了不少創(chuàng )新的產(chǎn)品和技術(shù)來(lái)幫助企業(yè)擁抱AI。
AI應用普及
推動(dòng)基礎設施升級
在過(guò)去的幾年里,AI應用場(chǎng)景越來(lái)越豐富,智能化水平不斷提升。一個(gè)明顯的變化是,從過(guò)去集中在以圖像識別、視頻分析為主的感知智能逐漸擴展到以ChatGPT為代表的認知智能,文檔檢索、文檔生成成為了新的主流應用場(chǎng)景,同時(shí),以Sora為代表的多模態(tài)AI技術(shù)也開(kāi)始方興未艾。
蓬勃發(fā)展的AI應用背后離不開(kāi)底層基礎設施的支持。以大模型的訓練和推理為例,大模型的參數量已經(jīng)從數十億增加到幾百億、幾萬(wàn)億甚至更高,更大的模型帶來(lái)了更大的AI算力需求。有數據顯示,AI所消耗的算力平均每3至4個(gè)月就會(huì )增長(cháng)一倍,而這部分增長(cháng)的算力需求大部分將由GPU承擔,直接帶動(dòng)了異構計算的普及。
另一方面,計算規模越來(lái)越大,越來(lái)越多地通過(guò)集群來(lái)承載,萬(wàn)卡、十萬(wàn)卡GPU規模的數據中心也不鮮見(jiàn)。與計算規模擴大同時(shí)增加的還有網(wǎng)絡(luò )通訊需求,讓高帶寬、低延遲網(wǎng)絡(luò )交換設施成為AI系統的必要組成部分。
與此同時(shí),新興的AI應用對存儲系統的要求也被提高了。功能更強、規模更大的算法模型需要搭配數量更多、質(zhì)量更高、更加多元化的訓練數據才可能達到預期效果,否則很容易因訓練數據不足造成模型欠擬合,而這意味著(zhù)存儲系統性能更高、更穩定,同時(shí)成本更低。
市場(chǎng)的需求基礎設施廠(chǎng)商都看到了,以戴爾科技為代表的很多基礎設施廠(chǎng)商也推出了大量創(chuàng )新的產(chǎn)品和技術(shù)。
多元化AI計算平臺
加速智能躍遷
眾所周知,傳統數據中心的典型架構是以CPU為中心,而今天在大模型訓練和推理需求的推動(dòng)下,CPU+GPU為代表的異構計算正在成為主流,GPU成為越來(lái)越多服務(wù)器的標準配置。
順應市場(chǎng)的最新需求,戴爾科技推出了多款PowerEdge服務(wù)器,它們專(zhuān)門(mén)針對GPU計算設計和優(yōu)化,能支持英特爾等不同品牌的GPU加速卡,可滿(mǎn)足不同應用場(chǎng)景的需求。
“圍繞AI 應用的GPU加速,戴爾科技能提供像GPU池化、GPU分布式訓練、GPU集群管理和資源調度、邊緣AI計算等GPU加速計算解決方案。”戴爾科技集團信息基礎架構解決方案事業(yè)部企業(yè)技術(shù)架構師、全球CTO大使吳躍表示。
他表示,PowerEdge 服務(wù)器設計中有很多針對GPU的專(zhuān)門(mén)設計。比如,多矢量散熱技術(shù)的應用可以保證均勻冷卻服務(wù)器各部件;電源增強設計(即瞬時(shí)功率)可以達到電源標稱(chēng)功率的1.4到1.7倍,以應對GPU開(kāi)機過(guò)程中的啟動(dòng)風(fēng)暴。這些設計都是為了確保GPU在服務(wù)器內達到最佳運行狀態(tài)。
在A(yíng)I的公開(kāi)基準測試中戴爾PowerEdge表現優(yōu)異。MLPerf是當前AI領(lǐng)域關(guān)注度和參與度最高的計算性能基準測試,在去年9月份發(fā)布的MLPerf Inference V3.1的推理基準測試中,共有26個(gè)廠(chǎng)商提交了超過(guò)13500條的測試記錄。在20個(gè)數據中心項目賽道中戴爾科技取得了7個(gè)項目的第一名,另外4個(gè)項目的第二名。在所有參與評測的GPU服務(wù)器產(chǎn)品中取得最好的綜合成績(jì)。
除了多款GPU服務(wù)器外,戴爾推出的搭載英特爾Xeon Max處理器的PowerEdge服務(wù)器也值得一提。目前戴爾科技有三款服務(wù)器可以支持Xeon Max處理器,包括2U 兩路的計算平臺PowerEdge R760、1U 兩路的計算平臺PowerEdge R660以及2U 4節點(diǎn)PowerEdge C6620。
Xeon Max處理器是英特爾推出的業(yè)內首款集成HBM的x86 CPU,其中集成了64GB的HBM,內存帶寬可達到1TB/s,無(wú)需GPU加速卡就可實(shí)現內存帶寬密集型應用的加速,如模型推理與模型微調等。
相關(guān)測試表明,單個(gè)Xeon Max處理器即可完成60億、130億規模的大語(yǔ)言模型的加載和應用;對于對話(huà)式AI的場(chǎng)景,會(huì )話(huà)首個(gè)token生成延遲小于3秒鐘,下一個(gè)token生成延遲小于100毫秒。而且,由于所有主流AI框架與加速庫都支持x86計算,在CPU上運行AI模型可以減少代碼改動(dòng)量,大大簡(jiǎn)化了AI應用的開(kāi)發(fā)和部署。
吳躍表示,為了持續引領(lǐng)AI基礎設施技術(shù)創(chuàng )新,加速AI應用的落地,戴爾科技還成立了AI HPC創(chuàng )新實(shí)驗室,專(zhuān)門(mén)從事AI計算、并行計算的前沿技術(shù)研究、效能的基準測試等相關(guān)工作。超級計算機Ratter就是戴爾AI&HPC創(chuàng )新實(shí)驗室打造的GPU超算集群。戴爾很多AI以及使用GPU加速的HPC解決方案(如CAE、分子動(dòng)力學(xué)、生命科學(xué)等)也是在Ratter集群上首先進(jìn)行測試和優(yōu)化的。
從邊到端
讓AI算力無(wú)處不在
實(shí)際上,基礎設施相關(guān)的技術(shù)創(chuàng )新不只是發(fā)生在計算領(lǐng)域,也發(fā)生在存儲和網(wǎng)絡(luò )領(lǐng)域,同時(shí),也不只是在云端和數據中心,還發(fā)生在端側,并正在醞釀一場(chǎng)從云到端、全面的升級。
比如,為了減少數據傳輸的延遲,戴爾PowerScale今年新增了Multipath Client driver(多通道客戶(hù)端驅動(dòng)程序),借此單個(gè)客戶(hù)端就可以能實(shí)現40GB/s的峰值帶寬,可為高密度的GPU算力服務(wù)器提供充沛的后端存儲性能。
OneFS是戴爾科技自研的文件系統,全閃PowerScale搭配OneFS 9.7文件系統,存儲的流式讀性能是上一代平臺的兩倍,流式的寫(xiě)性能是上一代平臺的2.2倍,可以有效提高GPU在模型預訓練和微調階段的工作效率。
當然,在端側的創(chuàng )新同樣不少。從去年9月份英特爾推出AI PC概念以來(lái),AI PC迅速被市場(chǎng)接受。IDC的預測,今年新增PC中一半以上將是AI PC;2027 年將進(jìn)一步提升至 84.6%。戴爾科技也全面擁抱AI PC,今年新發(fā)布的AI工作站Precision 7960單臺將支持4塊雙寬的GPU,最高配置4TB的內存和152TB的本地存儲,為AI落地工作站提供強力支持。
談到AI在邊緣端的落地,英特爾不可不提。除了發(fā)力AI PC之外,英特爾還在其他方面持續優(yōu)化CPU面向AI應用的性能,也為戴爾科技豐富自己的產(chǎn)品線(xiàn)提供更多選擇。比如,英特爾從第四代至強可擴展處理器開(kāi)始新增AMX加速器,無(wú)需GPU就可顯著(zhù)提升AI推理和訓練的性能。根據英特爾的資料,AMX對于INT8精度有8倍的性能提升,對BF16精度有16倍的性能提升。而且由于A(yíng)MX內置于CPU中,因而無(wú)需專(zhuān)門(mén)構建解決方案。
另一方面,英特爾也聯(lián)手合作伙伴推出面向邊緣的AI解決方案參考設計。英特爾Edge AI Box 就是其中之一,AI-BOX在搭載英特爾酷睿處理器的單一計算盒內集成了視頻解碼和分析功能,既可作為連接到 IP 攝像頭或網(wǎng)絡(luò )錄像機 (NVR) 等視頻源的獨立設備,實(shí)時(shí)進(jìn)行邊緣視頻分析,也可以連接到網(wǎng)絡(luò )并充當網(wǎng)絡(luò )上的獨立 AI 服務(wù),按需運行離線(xiàn)深度學(xué)習分析,部署非常方便。
英特爾中國解決方案部AI架構師俞巍表示:“圍繞邊緣AI的落地和部署,英特爾聯(lián)合戴爾科技等合作伙伴共同打造了很多基于英特爾軟硬件棧的邊緣AI解決方案,以支持無(wú)處不在的AI應用。”
實(shí)際上,除了英特爾外,戴爾科技還與很多廠(chǎng)商有合作,其中與ISV合作研發(fā)面向細分領(lǐng)域的解決方案就是一種重要的合作方式。
當下,向量數據庫+大模型的RAG(檢索增強生成)非常熱門(mén)。因為RAG既可以發(fā)揮大模型的語(yǔ)言生成能力,又可以借助向量數據庫解決大模型的幻覺(jué)問(wèn)題,被認為是一種非常有應用前景的AI落地形式。達觀(guān)數據是一家專(zhuān)注于智能文本處理技術(shù)的國家級專(zhuān)精特新“小巨人”企業(yè),其智能知識管理系統在行業(yè)內擁有不少用戶(hù),現在戴爾科技就在和達觀(guān)數據合作,共同探索RAG技術(shù)與智能知識管理的融合解決方案。
另外,戴爾科技推出的經(jīng)過(guò)驗證的各種參考設計 (AI Validated Design Solution) 以及配套的技術(shù)白皮書(shū)和效能的驗證,其中就離不開(kāi)各種合作伙伴的支持。
“隨著(zhù)AI技術(shù)的迭代,AI場(chǎng)景與AI模型規模越發(fā)復雜,對AI算力與AI訓練數據的需求也會(huì )更加地旺盛,AI基礎設施未來(lái)幾年將會(huì )持續成為全球IT投資的熱點(diǎn)之一。”吳躍表示,作為領(lǐng)先的基礎設施供應商,戴爾科技會(huì )和合作伙伴一起積極擁抱AI,通過(guò)技術(shù)創(chuàng )新推動(dòng)基礎設施的升級,加速AI應用的普及。
