此前，為了提升元宇宙中的觸感交互，Meta公司的研究團隊開(kāi)發(fā)了一款觸覺(jué)手套，這種手套舒適、可定制，最重要的是能夠在虛擬世界中再現一系列感覺(jué)，包括紋理、壓力和振動(dòng)等。

　　近日，Meta公司又有新動(dòng)作。其發(fā)布了自監督語(yǔ)音處理模型XLS-R，該模型共支持128種語(yǔ)言，目的是助力元宇宙中的跨語(yǔ)種交流。

　　當今，有據可考的語(yǔ)言有7000余種。盡管現在的翻譯系統越來(lái)越強大，但要用AI完全實(shí)現這些語(yǔ)言的互通并非易事。一般來(lái)說(shuō)，語(yǔ)料庫的豐富程度決定了語(yǔ)言翻譯模型的質(zhì)量，現有的語(yǔ)音翻譯一般集中于大語(yǔ)種之間，小語(yǔ)種語(yǔ)料往往比較匱乏，因此使用這類(lèi)母語(yǔ)的人往往較難通過(guò)AI獲得較高的翻譯質(zhì)量。

　　但XLS-R通過(guò)自監督技術(shù)對10倍的語(yǔ)音數據進(jìn)行訓練，大大改善了以前的多語(yǔ)言模型，尤其是小語(yǔ)種的處理。因此母語(yǔ)不同的人，比如一位說(shuō)英語(yǔ)，一位說(shuō)漢語(yǔ)的人，兩人可以靠XLS-R在元宇宙中進(jìn)行無(wú)障礙對話(huà)。

　　XLS-R基于的是Facebook去年發(fā)布的wav2vec 2.0技術(shù)。該技術(shù)通過(guò)多層卷積神經(jīng)網(wǎng)絡(luò )對語(yǔ)音音頻進(jìn)行編碼，以及對產(chǎn)生的潛伏語(yǔ)音表征進(jìn)行跨度遮蔽，能夠建立捕捉整個(gè)序列信息的表征。

　　這樣訓練出的模型，可以預測音頻中被掩蔽部分的正確語(yǔ)音單元，同時(shí)也可以學(xué)習新的語(yǔ)音單元。在此基礎上開(kāi)發(fā)的XLS-R，不僅能夠建立上下文表征，還可以捕獲整個(gè)潛伏表征序列上建立的依賴(lài)關(guān)系。

　　XLS-R共有20億參數，它在測試的37種語(yǔ)言中，表現優(yōu)于大多數語(yǔ)種先前的工作。甚至在老撾語(yǔ)等小語(yǔ)種識別上，也能低于之前的錯誤率。此外，XLS-R也讓低資源語(yǔ)言與英語(yǔ)之間的翻譯大幅改進(jìn)，例如從印度尼西亞語(yǔ)到英語(yǔ)的翻譯，準確性平均翻了一番。

　　目前，XLS-R還只是一個(gè)預訓練模型，為了能更好的應用于具體任務(wù)，還需要對其進(jìn)行相關(guān)改進(jìn)。