開發(fā)了 ChatGPT 的 OpenAI 公司日前宣布成立新的“防備(Preparedness)”團隊,旨在監(jiān)控旗下技術可能帶來的潛在威脅,防止其落入壞人之手,甚至被用于制造化學和生物武器。
該團隊由麻省理工學院人工智能教授亞歷山大 馬德里 (Aleksander Madry) 領導,將招募人工智能研究人員、計算機科學家、國家安全專家和政策專家等,對 OpenAI 開發(fā)的技術進行持續(xù)監(jiān)測和測試,一旦發(fā)現(xiàn)任何危險苗頭,及時向公司發(fā)出警告。
OpenAI 周一發(fā)布了名為“防備框架”(Preparedness Framework)的指導方針,并強調這套指南仍處于測試階段。
據(jù)悉,防備團隊每月將向一個新的內部安全咨詢小組發(fā)送報告,該小組隨后將對其進行分析,并向 OpenAI 首席執(zhí)行官薩姆 阿爾特曼和董事會提交建議。阿爾特曼和公司高層可以根據(jù)這些報告決定是否發(fā)布新的 AI 系統(tǒng),但董事會有權撤銷這一決定。
防備團隊將反復評估 OpenAI 最先進、尚未發(fā)布的 AI 模型,根據(jù)不同類型的感知風險評為四個等級,從低到高依次是“低”、“中”、“高”和“嚴重”。根據(jù)新的指導方針,OpenAI 將只推出評級為“低”和“中”的模型。
OpenAI 的“防備”團隊介于兩個現(xiàn)有團隊之間:負責消除 AI 系統(tǒng)中種族偏見等現(xiàn)有問題的“安全系統(tǒng)”團隊,以及研究如何確保 AI 在超越人類智能的未來場景中不會傷害人類的“超級對齊(Superalignment)”團隊。
ChatGPT 的火爆以及生成式 AI 技術的快速發(fā)展引發(fā)了科技界關于該技術潛在危險性的激烈討論。來自 OpenAI、谷歌和微軟的知名 AI 專家今年警告稱,該技術可能對人類構成與流行病或核武器相當?shù)纳嫱{。其他 AI 研究人員則認為,過度關注這些遙遠的巨大風險,忽視了 AI 技術目前已經(jīng)造成的潛在危害。也有一些 AI 商業(yè)領袖認為,關于風險的擔憂被夸大了,公司應該繼續(xù)推進技術發(fā)展,造福社會并從中獲益。
OpenAI 在這場辯論中采取了較為折中的立場。首席執(zhí)行官薩姆 阿爾特曼 (Sam Altman) 承認該技術存在嚴重的長期風險,但也呼吁人們關注解決現(xiàn)有問題。他認為,監(jiān)管不應該阻礙小型公司在 AI 領域的競爭。同時,他也推動公司實現(xiàn)技術商業(yè)化,籌集資金加快發(fā)展。
馬德里是資深 AI 研究人員,曾在麻省理工學院負責可部署機器學習中心,并共同領導麻省理工學院 AI 政策論壇。今年他加入了 OpenAI,但在阿爾特曼被董事會解雇后,曾與少數(shù) OpenAI 高管一道辭職,五天后當阿爾特曼復職時,馬德里回到了公司。OpenAI 由一個非營利董事會管理,其使命是促進 AI 發(fā)展并使其造福全人類。在阿爾特曼復職后,三名解雇他的董事會成員辭職,目前該組織正在遴選新的董事會成員。
盡管領導層經(jīng)歷了“動蕩”,馬德里表示,他仍然相信 OpenAI 董事會認真對待 AI 的風險。
除了 AI 領域的人才,OpenAI 的“防備”團隊還將招募來自國家安全等領域的專家,幫助公司了解如何應對重大風險。馬德里表示,團隊已經(jīng)開始與美國核安全局等機構進行接觸,確保公司能夠適當?shù)匮芯?AI 的風險。
該團隊的重點之一是監(jiān)控 OpenAI 的技術何時以及如何引導人們進行計算機入侵或制造危險的化學、生物和核武器,超出人們通過常規(guī)研究可以在網(wǎng)上找到的內容。馬德里正在尋找這樣的人才:“他們會深入思考,‘我如何突破這些規(guī)則?我如何成為最機智的反派?’”
OpenAI 在周一的一篇博客文章中表示,公司還將允許來自 OpenAI 之外的“合格的獨立第三方”測試其技術。
馬德里表示,他既不同意那些擔心 AI 已經(jīng)超越人類智能的“末日論者”,也不同意那些希望移除所有 AI 發(fā)展障礙的“加速主義者”。
他說:“我真切地認為,將發(fā)展和抑制截然分開是一種非常簡單的劃分方式。AI 擁有巨大的潛力,但我們也需要努力確保這些潛力得以實現(xiàn),并且最大程度避免負面影響!