目前,MOSS 模型已上線(xiàn)開(kāi)源,相關(guān)代碼、數據、模型參數已在 Github 和 Hugging Face 等平臺開(kāi)放,供科研人員下載。
據介紹,MOSS 是一個(gè)支持中英雙語(yǔ)和多種插件的開(kāi)源對話(huà)語(yǔ)言模型,moss-moon 系列模型具有 160 億參數,在 FP16 精度下可在單張 A100 / A800 或兩張 3090 顯卡運行,在 INT4/8 精度下可在單張 3090 顯卡運行。MOSS 基座語(yǔ)言模型在約七千億中英文以及代碼單詞上預訓練得到,后續經(jīng)過(guò)對話(huà)指令微調、插件增強學(xué)習和人類(lèi)偏好訓練具備多輪對話(huà)能力及使用多種插件的能力。
MOSS 來(lái)自復旦大學(xué)自然語(yǔ)言處理實(shí)驗室的邱錫鵬教授團隊,名字與《流浪地球》電影中的 AI 同名,已發(fā)布至公開(kāi)平臺,邀請公眾參與內測。
查看 MOSS 的 GitHub 頁(yè)面發(fā)現,該項目所含代碼采用 Apache 2.0 協(xié)議,數據采用 CC BY-NC 4.0 協(xié)議,模型權重采用 GNU AGPL 3.0 協(xié)議。如需將該項目所含模型用于商業(yè)用途或公開(kāi)部署,需要簽署文件并發(fā)送至 robot@fudan.edu.cn 取得授權,商用情況僅用于記錄,不會(huì )收取任何費用。