NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內(nèi)容之前進行攔截和修改。例如，如果開發(fā)者想要創(chuàng)建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談?wù)撓嚓P(guān)的產(chǎn)品，而不能談?wù)摳偁帉κ值漠a(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問題，機器人可以引導(dǎo)對話回到開發(fā)者希望的話題上。

　　英偉達(dá)還提供了另一個例子，一個用于回答內(nèi)部企業(yè)人力資源問題的聊天機器人。在這個例子中，英偉達(dá)能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機器人回答關(guān)于公司財務(wù)狀況的問題或訪問其他員工的私人數(shù)據(jù)。

　　此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。

　　英偉達(dá)還表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。

　　NeMo Guardrails 是開源的，并通過英偉達(dá)服務(wù)提供，可以用于商業(yè)應(yīng)用，開發(fā)者將使用 Golang 編程語言來為 AI 模型編寫自定義規(guī)則。

　　據(jù)搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強化學(xué)習(xí)的方法來防止 LLM 應(yīng)用產(chǎn)生有害的輸出。這種方法使用人類測試者來創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù)，然后使用這些數(shù)據(jù)來訓(xùn)練 AI 模型。

　　英偉達(dá)正在將其注意力轉(zhuǎn)向 AI 領(lǐng)域，該公司目前占據(jù)了創(chuàng)建這項技術(shù)所需芯片的市場主導(dǎo)地位，其股價在 2023 年迄今為止上漲了 85%，成為標(biāo)準(zhǔn)普爾 500 指數(shù)中漲幅最大的股票。