去年10月，騰訊完成首個(gè)萬億參數(shù)的AI大模型——混元NLP大模型訓(xùn)練。在同等數(shù)據(jù)集下，將訓(xùn)練時(shí)間由50天縮短到11天。如果基于新一代集群，訓(xùn)練時(shí)間將進(jìn)一步縮短至4天。

　　大模型進(jìn)入萬億參數(shù)時(shí)代，單體服務(wù)器提供的算力有限，需要將大量服務(wù)器相連，協(xié)同優(yōu)化單機(jī)算力、網(wǎng)絡(luò)架構(gòu)和存儲性能，打造大規(guī)模、分布式的高性能計(jì)算集群。

　　計(jì)算層面

　　服務(wù)器單機(jī)性能是集群算力的基礎(chǔ)，新一代集群的單GPU卡在不同精度下，支持輸出最高1979 TFlops的算力。

　　針對大模型場景，星星海自研服務(wù)器采用6U超高密度設(shè)計(jì)，相較行業(yè)可支持的上架密度提高30%；利用并行計(jì)算理念，通過CPU和GPU節(jié)點(diǎn)的一體化設(shè)計(jì)，將單點(diǎn)算力性能提升至更高。

　　網(wǎng)絡(luò)層面

　　計(jì)算節(jié)點(diǎn)間，存在著海量的數(shù)據(jù)交互需求。隨著集群規(guī)模擴(kuò)大，通信性能會直接影響訓(xùn)練效率，需要實(shí)現(xiàn)網(wǎng)絡(luò)和計(jì)算節(jié)點(diǎn)的最大協(xié)同。

　　騰訊自研的星脈高性能計(jì)算網(wǎng)絡(luò)，具備業(yè)界最高的3.2T RDMA通信帶寬。實(shí)測結(jié)果顯示，搭載同等數(shù)量的GPU，3.2T星脈網(wǎng)絡(luò)相較1.6T網(wǎng)絡(luò)，集群整體算力提升20%。

　　同時(shí)，騰訊自研的高性能集合通信庫TCCL，融入定制設(shè)計(jì)的解決方案。相對業(yè)界開源集合通信庫，為大模型訓(xùn)練優(yōu)化40%負(fù)載性能，消除多個(gè)網(wǎng)絡(luò)原因?qū)е碌挠?xùn)練中斷問題。

　　存儲層面

　　大模型訓(xùn)練中，大量計(jì)算節(jié)點(diǎn)會同時(shí)讀取一批數(shù)據(jù)集，需要盡可能縮短數(shù)據(jù)加載時(shí)長，避免計(jì)算節(jié)點(diǎn)產(chǎn)生等待。

　　騰訊云自研的存儲架構(gòu)，具備TB級吞吐能力和千萬級IOPS，支持不同場景下對存儲的需求。COS+GooseFS對象存儲方案和CFS Turbo高性能文件存儲方案，充分滿足大模型場景下高性能、大吞吐和海量存儲要求。

　　此外，新一代集群集成了騰訊云自研的TACO訓(xùn)練加速引擎，對網(wǎng)絡(luò)協(xié)議、通信策略、AI框架、模型編譯進(jìn)行大量系統(tǒng)級優(yōu)化，大幅節(jié)約訓(xùn)練調(diào)優(yōu)和算力成本。

　　騰訊混元大模型背后的訓(xùn)練框架AngelPTM，也已通過騰訊云TACO提供服務(wù)，幫助企業(yè)加速大模型落地。

　　通過騰訊云TI平臺的大模型能力和工具箱，企業(yè)可結(jié)合產(chǎn)業(yè)場景數(shù)據(jù)進(jìn)行精調(diào)訓(xùn)練，提升生產(chǎn)效率、快速創(chuàng)建和部署 AI 應(yīng)用。

　　依托分布式云原生的治理能力，騰訊云智算平臺提供16 EFLOPS的浮點(diǎn)算力，規(guī)模業(yè)界領(lǐng)先。

　　以新一代集群為標(biāo)志，基于自研芯片、星星海自研服務(wù)器和分布式云操作系統(tǒng)遨馳，騰訊云正通過軟硬一體的方式，打造面向AIGC的高性能智算網(wǎng)絡(luò)，持續(xù)加速全社會云上創(chuàng)新。