近日，由中國信息通信研究院、深度學(xué)習技術(shù)及應(yīng)用國家工程研究中心、人工智能關(guān)鍵技術(shù)和應(yīng)用評測工信部重點實驗室主辦的2022可信AI峰會線上召開。由捷通華聲參編的《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用評估方法》同步在峰會期間發(fā)布。

　　近年來，大模型參數(shù)規(guī)模和模型性能不斷創(chuàng)出新高，逐步夯實人工智能技術(shù)底座，推動人工智能向著通用化、工業(yè)化、集約化發(fā)展。在此背景下，中國信息通信研究院聯(lián)合捷通華聲等行業(yè)內(nèi)50余家單位，對大模型的工程化路徑進行了深入研究和探討。面向大模型工程化多個重要階段構(gòu)建了大模型標準體系，包含模型開發(fā)、模型能力、模型應(yīng)用和安全可信四個部分，本次會議發(fā)布了標準的前兩部分。

　　大模型憑借優(yōu)越的泛化性、通用性、遷移性，在零樣本、小樣本任務(wù)領(lǐng)域下表現(xiàn)出色，并成為人工智能新基建領(lǐng)域的熱點方向之一，同時也是AI產(chǎn)業(yè)發(fā)展底座的重要一環(huán)。捷通華聲作為國內(nèi)領(lǐng)先的人工智能技術(shù)、產(chǎn)品與解決方案服務(wù)提供商，始終堅持關(guān)鍵核心技術(shù)自主研發(fā)，致力于持續(xù)為客戶提供行業(yè)領(lǐng)先的AI體驗。目前捷通華聲已將大模型應(yīng)用于多項靈云人工智能核心技術(shù)算法研究與模型訓(xùn)練過程。

　　捷通華聲在研發(fā)靈云語義理解過程中，采用大規(guī)模預(yù)訓(xùn)練，實現(xiàn)了從大量標記和未標記數(shù)據(jù)中捕獲知識，將知識存儲到大量的參數(shù)中，并對特定任務(wù)進行微調(diào)，極大地擴展了模型的泛化能力。

　　此外，捷通華聲通過大模型的自監(jiān)督學(xué)習方法，在一定程度上解決了數(shù)據(jù)標注過程中人工成本高、周期長、準確度不高的問題。同時，使得小樣本的學(xué)習也能達到比以前更好的能力，且模型參數(shù)規(guī)模越大，優(yōu)勢越明顯，進而實現(xiàn)使用小樣本就可以訓(xùn)練自己所需模型的目的。

　　相比于傳統(tǒng)開發(fā)模式，利用已訓(xùn)練大模型進行下游任務(wù)時，可有效縮短開發(fā)周期。在數(shù)字時代發(fā)展過程中，大模型能夠更好的幫助企業(yè)滿足業(yè)務(wù)場景多樣化、人工智能需求碎片化等行業(yè)數(shù)字化轉(zhuǎn)型需求。