人工智能（AI）的發(fā)展日新月異，但也存在一些難題，比如 AI 模型有時會出現(xiàn)“幻覺”，即說出錯誤的事實、涉及有害的話題或?qū)е掳踩L(fēng)險。為了解決這個問題，英偉達在周二發(fā)布了一款新的軟件，名為 NeMo Guardrails，可以幫助軟件開發(fā)者給 AI 模型設(shè)置“護欄”，防止它們產(chǎn)生不良的輸出。
NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內(nèi)容之前進行攔截和修改。例如，如果開發(fā)者想要創(chuàng)建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談?wù)撓嚓P(guān)的產(chǎn)品，而不能談?wù)摳偁帉κ值漠a(chǎn)品或其他不相關(guān)的話題。如果用戶提出這樣的問題，機器人可以引導(dǎo)對話回到開發(fā)者希望的話題上。
英偉達還提供了另一個例子，一個用于回答內(nèi)部企業(yè)人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機器人回答關(guān)于公司財務(wù)狀況的問題或訪問其他員工的私人數(shù)據(jù)。
此外，該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。
英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。
NeMo Guardrails 是開源的，并通過英偉達服務(wù)提供，可以用于商業(yè)應(yīng)用，開發(fā)者將使用 Colang 編程語言來為 AI 模型編寫自定義規(guī)則。
據(jù)IT之家搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強化學(xué)習(xí)的方法來防止 LLM 應(yīng)用產(chǎn)生有害的輸出。這種方法使用人類測試者來創(chuàng)建關(guān)于哪些答案是可接受或不可接受的數(shù)據(jù)，然后使用這些數(shù)據(jù)來訓(xùn)練 AI 模型。
英偉達正在將其注意力轉(zhuǎn)向 AI 領(lǐng)域，該公司目前占據(jù)了創(chuàng)建這項技術(shù)所需芯片的市場主導(dǎo)地位，其股價在 2023 年迄今為止上漲了 85%，成為標(biāo)準(zhǔn)普爾 500 指數(shù)中漲幅最大的股票。
