NLPCC 由中國計算機學(xué)會(huì )主辦，是自然語(yǔ)言處理（NLP）和中文計算（CC）領(lǐng)域的頂級國際前沿會(huì )議，每年會(huì )議都秉承國際化和一流化的嚴格標準來(lái)進(jìn)行自然語(yǔ)言處理任務(wù)的開(kāi)放評測，推動(dòng)相關(guān)任務(wù)的研究和發(fā)展。NLPCC 2020吸引了康奈爾大學(xué)、倫敦大學(xué)、普林斯頓大學(xué)等海內外近600位自然語(yǔ)言處理領(lǐng)域的專(zhuān)家及學(xué)者參加大會(huì )，其中400余位專(zhuān)家學(xué)者在現場(chǎng)共同見(jiàn)證開(kāi)放評測任務(wù)第一名的誕生。

　　當下，預訓練語(yǔ)言模型已經(jīng)成為NLP的主流方法，在多項NLP任務(wù)上都取得了明顯的效果提升。但是預訓練語(yǔ)言模型往往比較大，限制了預訓練語(yǔ)言模型的應用場(chǎng)景。因此，如何構建輕量級的預訓練語(yǔ)言模型就成了一個(gè)關(guān)鍵問(wèn)題。

　　預訓練語(yǔ)言模型出現以來(lái)發(fā)展得非常迅速，目前已經(jīng)演化形成了一個(gè)家族

　　中文輕量級預訓練語(yǔ)言模型能力評測任務(wù)的目的在于讓參賽團隊減少語(yǔ)言模型大小的同時(shí)盡可能保證模型效果。本次比賽包含四個(gè)任務(wù)，分別是指代消解，關(guān)鍵詞識別兩個(gè)句子級別分類(lèi)任務(wù)，實(shí)體識別序列標注任務(wù)，MRC閱讀理解任務(wù)，從不同角度評測模型的語(yǔ)義表達能力。同時(shí)，比賽要求模型的參數量低于bert-base模型的1/9，模型推理速度達到bert-base模型的8倍，這就要求模型運行快，體積小，效果好。

　　一般來(lái)說(shuō)，可以通過(guò)量化、剪枝、蒸餾等方法來(lái)壓縮大預訓練語(yǔ)言模型來(lái)獲得輕量級模型。華為云與諾亞方舟實(shí)驗室聯(lián)合團隊基于自研的NEZHA中文預訓練模型通過(guò)知識蒸餾得到tiny-NEZHA輕量級模型摘得桂冠。

　　相比其他模型，華為的模型在結構上找到了一個(gè)較好的平衡點(diǎn)，采用TinyBERT兩步蒸餾的方式讓模型更好地學(xué)到任務(wù)相關(guān)的知識，蒸餾過(guò)程中用語(yǔ)言模型預測并替換部分token的方式進(jìn)行數據增強可以使小模型擁有更強泛化性。

　　TinyBERT知識蒸餾的損失函數中一個(gè)重要環(huán)節是讓中間層去學(xué)習隱藏狀態(tài)和attention向量

　　同時(shí)，華為自研的NEZHA預訓練語(yǔ)言模型采用相對位置編碼替換BERT的參數化絕對位置編碼，能更直接地建模token間的相對位置關(guān)系，從而提升語(yǔ)言模型的表達能力。

　　在過(guò)去的2020年里，華為云AI在人工智能領(lǐng)域的研發(fā)成績(jì)斐然，斬獲十二項包含WSDM、WebVision、CCKS篇章級事件抽取技術(shù)評測冠軍、人工智能金煉獎、德國紅點(diǎn)在內的國際國內榜單冠軍和獎項。華為云AI將繼續夯實(shí)技術(shù)優(yōu)勢，做智能世界的“黑土地”，持續踐行普惠AI，將AI服務(wù)觸及每一位開(kāi)發(fā)者、每一個(gè)企業(yè)，助力各行各業(yè)進(jìn)入人工智能新時(shí)代。