首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

OpenAI成立新的安全顧問委員會 成員全是自己人

2024年5月29日 10:01  華爾街見聞  

過去幾個月,OpenAI的技術(shù)團隊中有多名安全方面的高層人員離職,這些前員工中有些人對OpenAI在AI安全方面的優(yōu)先級下降表示擔(dān)憂。

OpenAI周二宣布成立一個新的安全顧問委員會,負責(zé)監(jiān)督與公司項目和運營相關(guān)的“關(guān)鍵”安全和安保決策。而值得注意的是,進入該安全顧問委員會的成員全部為該公司內(nèi)部人員,包括OpenAI的CEO Sam Altman,外部人員一個也沒有。

根據(jù)OpenAI公司博客上的一篇文章,安全顧問委員會將在接下來90天內(nèi)負責(zé)評估OpenAI得安全流程和保障措施。然后,該委員會將向OpenAI董事會匯報其發(fā)現(xiàn)和建議,OpenAI表示,屆時將以符合安全和安保的方式公布任何已采納的建議的更新。

OpenAI周二表示,已開始訓(xùn)練新一代旗艦人工智能模型,以期超越目前的GPT-4大模型。“OpenAI最近開始訓(xùn)練其下一個前沿模型,我們預(yù)計由此產(chǎn)生的系統(tǒng)將使我們在通往通用人工智能的道路上邁上一個新臺階,”O(jiān)penAI寫道!半m然我們很自豪地構(gòu)建和發(fā)布在能力和安全方面都領(lǐng)先的模型,但我們歡迎在這個重要時刻進行深入討論。”

除了Altman,安全顧問委員會的其他成員包括OpenAI董事會成員Bret Taylor、Adam D’Angelo和Nicole Seligman,以及首席科學(xué)家Jakub Pachocki、OpenAI早期籌備團隊的Aleksander Madry、安全系統(tǒng)負責(zé)人Lilian Weng、安保負責(zé)人Matt Knight和“人工智能對齊”(AI Alignment)負責(zé)人John Schulman。

安全不再優(yōu)先 多名高層離職

過去幾個月,OpenAI的技術(shù)團隊中有多名安全方面的高層人員離職,這些前員工中有些人對OpenAI在AI安全方面的優(yōu)先級下降表示擔(dān)憂。

曾在OpenAI擔(dān)任團隊治理工作的Daniel Kokotajlo在4月辭職,因為他對OpenAI在發(fā)布越來越強大的AI時“負責(zé)任的行為”失去了信心,他在個人博客上寫道。此外,OpenAI的聯(lián)合創(chuàng)始人兼前首席科學(xué)家Ilya Sutskever在與Altman及其盟友的長期斗爭后,于5月離職,據(jù)報道部分原因是Altman急于推出AI驅(qū)動的產(chǎn)品而犧牲了安全性能。

最近,前DeepMind研究員Jan Leike此前在OpenAI負責(zé)開發(fā)ChatGPT及其前身InstructGPT的過程中,也辭去了安全研究員職務(wù),他在一系列X平臺的帖子中表示,他認為OpenAI“未走在解決AI安全和安保問題的正確軌道上”。同時,AI政策研究員Gretchen Krueger上周離開OpenAI,她也同意Leike的觀點,呼吁公司提高問責(zé)制和透明度,并“更加謹慎地使用自己的技術(shù)”。

媒體報道,除了Sutskever、Kokotajlo、Leike和Krueger,自去年年底以來,至少有五名OpenAI最重視安全的員工要么辭職,要么被迫離開,包括前OpenAI董事會成員Helen Toner和Tasha McCauley。兩人日前在媒體撰文稱,在Altman的領(lǐng)導(dǎo)下,他們相信OpenAI無法實現(xiàn)對自身追究責(zé)任。

“根據(jù)我們的經(jīng)驗,OpenAI的自我治理無法承受利潤激勵帶來的誘惑!

倡導(dǎo)監(jiān)管?塑造監(jiān)管

此前有媒體報道,負責(zé)開發(fā)“超級智能”AI系統(tǒng)治理方法的OpenAI超級對齊(Superalignment team)團隊被承諾獲得公司20%的計算資源,但實際上卻很少這部分資源。超級對齊團隊自那以后被解散,其工作大部分被轉(zhuǎn)交給“人工智能對齊”(AI Alignment)負責(zé)人John Schulman和OpenAI在12月成立的安全咨詢小組。

雖然OpenAI一直在倡導(dǎo)AI監(jiān)管,但也在努力影響塑造這些監(jiān)管,該公司聘請了一名內(nèi)部游說者和越來越多的外部律師事務(wù)所游說者,僅在美國游說方面該公司2023年第四季度就花費了數(shù)十萬美元。最近,美國國土安全部宣布Altman將成為其新成立的人工智能安全和安保委員會(Artificial Intelligence Safety and Security Board)的成員,該委員會將為“安全和可靠的AI開發(fā)和部署”提供建議,以覆蓋美國的關(guān)鍵基礎(chǔ)設(shè)施。

而為了避免由于安全和安保委員會全部為內(nèi)部高管而被認為是橡皮圖章,OpenAI承諾聘請第三方“安全、安保和技術(shù)”專家來支持委員會的工作,包括網(wǎng)絡(luò)安全專家Rob Joyce和前美國司法部官員John Carlin。

然而,除了Joyce和Carlin,OpenAI尚未詳細說明該外部專家組的規(guī)模和組成,也沒有透露該組對委員會的影響力和權(quán)力的限制。有專家指出,OpenAI成立此類的企業(yè)監(jiān)督委員會,類似于谷歌的高級技術(shù)外部咨詢委員會,其實在實際監(jiān)督方面幾乎沒有什么作為。

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國移動李慧鏑:積極推進算力網(wǎng)絡(luò)AI注智賦能,推動實現(xiàn)自智網(wǎng)絡(luò)“三零三自”愿景
精彩專題
CES 2024國際消費電子展
2023年信息通信產(chǎn)業(yè)盤點暨頒獎禮
飛象網(wǎng)2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像