NLPCC 由中國計算機學會主辦，是自然語言處理（NLP）和中文計算（CC）領域的頂級國際前沿會議，每年會議都秉承國際化和一流化的嚴格標準來進行自然語言處理任務的開放評測，推動相關任務的研究和發(fā)展。NLPCC 2020吸引了康奈爾大學、倫敦大學、普林斯頓大學等海內外近600位自然語言處理領域的專家及學者參加大會，其中400余位專家學者在現場共同見證開放評測任務第一名的誕生。
當下，預訓練語言模型已經成為NLP的主流方法，在多項NLP任務上都取得了明顯的效果提升。但是預訓練語言模型往往比較大，限制了預訓練語言模型的應用場景。因此，如何構建輕量級的預訓練語言模型就成了一個關鍵問題。
預訓練語言模型出現以來發(fā)展得非常迅速，目前已經演化形成了一個家族
中文輕量級預訓練語言模型能力評測任務的目的在于讓參賽團隊減少語言模型大小的同時盡可能保證模型效果。本次比賽包含四個任務，分別是指代消解，關鍵詞識別兩個句子級別分類任務，實體識別序列標注任務，MRC閱讀理解任務，從不同角度評測模型的語義表達能力。同時，比賽要求模型的參數量低于bert-base模型的1/9，模型推理速度達到bert-base模型的8倍，這就要求模型運行快，體積小，效果好。
一般來說，可以通過量化、剪枝、蒸餾等方法來壓縮大預訓練語言模型來獲得輕量級模型。華為云與諾亞方舟實驗室聯合團隊基于自研的NEZHA中文預訓練模型通過知識蒸餾得到tiny-NEZHA輕量級模型摘得桂冠。
相比其他模型，華為的模型在結構上找到了一個較好的平衡點，采用TinyBERT兩步蒸餾的方式讓模型更好地學到任務相關的知識，蒸餾過程中用語言模型預測并替換部分token的方式進行數據增強可以使小模型擁有更強泛化性。
TinyBERT知識蒸餾的損失函數中一個重要環(huán)節(jié)是讓中間層去學習隱藏狀態(tài)和attention向量
同時，華為自研的NEZHA預訓練語言模型采用相對位置編碼替換BERT的參數化絕對位置編碼，能更直接地建模token間的相對位置關系，從而提升語言模型的表達能力。
在過去的2020年里，華為云AI在人工智能領域的研發(fā)成績斐然，斬獲十二項包含WSDM、WebVision、CCKS篇章級事件抽取技術評測冠軍、人工智能金煉獎、德國紅點在內的國際國內榜單冠軍和獎項。華為云AI將繼續(xù)夯實技術優(yōu)勢，做智能世界的“黑土地”，持續(xù)踐行普惠AI，將AI服務觸及每一位開發(fā)者、每一個企業(yè)，助力各行各業(yè)進入人工智能新時代。
