ChatGPT誕生前傳
最近，OpenAI 的 CEO Sam Altman 在一場(chǎng)公開會(huì)議上為 GPT-5 辟謠。
他聲稱 OpenAI 并沒(méi)有在訓(xùn)練 GPT-5，而是一直基于 GPT-4 做別的工作。
OpenAI 是一家非常有趣的機(jī)構(gòu)，和微軟、Google 等大公司不同，OpenAI 從不避忌談及自己的理念、產(chǎn)品，始終保持坦誠(chéng)的態(tài)度。
為什么 OpenAI 如此特別？這個(gè)只有幾百人的非盈利組織為什么能做出震驚世界的 AI 產(chǎn)品？Karen Hao 寫作的這篇萬(wàn)字長(zhǎng)文或許能告訴你 OpenAI 成功的秘密。
本文于 2020 年 2 月發(fā)布于 MIT Technology Review，距離 GPT-3 發(fā)布還有四個(gè)月，距離 ChatGPT 發(fā)布還有兩年零九個(gè)月。
文/Karen Hao@MIT Technology Review譯/f.chen@真格基金
這是一個(gè)關(guān)于競(jìng)爭(zhēng)壓力如何侵蝕理想主義的故事。
每年，OpenAI 的員工都會(huì)投票預(yù)測(cè)通用人工智能（AGI）的到來(lái)時(shí)間 —— 這在內(nèi)部主要被視為一項(xiàng)有趣的團(tuán)建活動(dòng)，不同員工做出的估計(jì)也差異巨大，值得一提的是，雖然是否能夠成功構(gòu)建自主的 AI 系統(tǒng)還存在爭(zhēng)議，但 OpenAI 已經(jīng)有一半人打賭 AGI 可能會(huì)在 15 年內(nèi)實(shí)現(xiàn)了。
經(jīng)過(guò)短短四年發(fā)展，OpenAI 已成為世界領(lǐng)先的 AI 研究實(shí)驗(yàn)室之一。一方面，它因持續(xù)發(fā)布引人注目的研究成果而聲名鵲起，并與 Alphabet 的 DeepMind 等其他 AI 巨頭齊名；另一方面，它也是硅谷寵兒，Elon Musk 和傳奇投資人 Sam Altman 都是其創(chuàng)始人。
但最重要的是，OpenAI 因其使命而備受推崇。它的愿景是成為第一個(gè)實(shí)現(xiàn) AGI 的組織，但不是為了統(tǒng)治世界，而是為了確保這項(xiàng)技術(shù)的安全發(fā)展，并將所產(chǎn)生的利益公平地分配給所有人。
如果任技術(shù)自由發(fā)展，AGI 可能很容易失控 —— 狹義智能，即今天（指 2020 年）我們周圍笨拙的 AI，已經(jīng)為我們展示了很多例子�，F(xiàn)在，我們已經(jīng)知道，算法是有偏見(jiàn)且脆弱的，它們可能造成嚴(yán)重虐待和欺騙，而開發(fā)和運(yùn)行它們的成本卻將控制它們的權(quán)力集中在少數(shù)人手中。推想可知，沒(méi)有‘仁慈的牧羊人’小心指導(dǎo)，AGI 可能會(huì)是災(zāi)難性的。
OpenAI 希望成為這個(gè)‘仁慈的牧羊人’，并精心打造‘個(gè)人形象’—— 身處這個(gè)由富有且強(qiáng)勢(shì)的巨頭主導(dǎo)的領(lǐng)域，它在成立時(shí)即定位為非營(yíng)利組織。
組織的第一份聲明說(shuō)，這種區(qū)別將使它‘為每個(gè)人，而不是股東創(chuàng)造價(jià)值’；它的章程 —— 這份文件如此神圣，以至于員工薪水取決于他們對(duì)條款的遵守程度 —— 進(jìn)一步宣稱 OpenAI 的‘首要承擔(dān)的責(zé)任是面向人類的’；此外，安全地實(shí)現(xiàn) AGI 非常重要，甚至如果另一個(gè)組織首先接近實(shí)現(xiàn)這一目標(biāo)，OpenAI 將停止競(jìng)爭(zhēng)，轉(zhuǎn)向與之合作。這樣的敘事對(duì)投資者和媒體來(lái)說(shuō)非常有吸引力，2020 年 7 月，微軟向該實(shí)驗(yàn)室投資了 10 億美元。
然而，在 OpenAI 辦公室度過(guò)的三天，以及對(duì)公司過(guò)去和現(xiàn)在的員工、合作者、朋友和其他領(lǐng)域?qū)＜疫M(jìn)行的近三十多次采訪，呈現(xiàn)出了一個(gè)完全不同的情況，該公司對(duì)外的表述和實(shí)際運(yùn)營(yíng)理念并不一致。隨著時(shí)間推移，激烈的競(jìng)爭(zhēng)和越來(lái)越大的融資壓力已經(jīng)侵蝕了其成立時(shí)的透明、開放和合作的理念。
許多在該公司工作或曾經(jīng)工作的人堅(jiān)持在此報(bào)道中匿名，因?yàn)樗麄儧](méi)有獲得發(fā)言權(quán)限或擔(dān)心受到報(bào)復(fù)。對(duì)他們的訪談表明，OpenAI 盡管有著崇高的愿景，但卻癡迷于保守秘密、保護(hù)形象和維持員工的忠誠(chéng)度。
從誕生開始，AI 技術(shù)的發(fā)展方向一直是理解人類智能，再實(shí)現(xiàn)自主創(chuàng)造。1950 年，著名的英國(guó)數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家 Alan Turing 在論文中問(wèn)了一個(gè)著名的問(wèn)題：‘機(jī)器能思考嗎？’六年后，一群科學(xué)家聚在達(dá)特茅斯學(xué)院，正式規(guī)范了這個(gè)學(xué)科。
‘這是知識(shí)史上最基本的問(wèn)題之一，對(duì)吧？’位于西雅圖的非營(yíng)利性 AI 研究實(shí)驗(yàn)室艾倫 AI 研究所（Allen Institute for Artificial Intelligence， AI2）的 CEO Oren Etzioni 說(shuō)，‘這就像我們是否理解了宇宙的起源，是否理解了物質(zhì)這類問(wèn)題一樣。’
問(wèn)題在于，AGI 的定義一直都很模糊。沒(méi)有人真正能準(zhǔn)確描述它會(huì)是什么樣子，或至少應(yīng)該做到什么，也很難說(shuō)只有一種通用智能，人類智能可能只是其中的一個(gè)子集。關(guān)于實(shí)現(xiàn) AGI 的目的也存在不同的意見(jiàn)，在更浪漫化的觀點(diǎn)中，一種不受睡眠需求或人類交流效率限制的機(jī)器智能可以幫助解決氣候變化、貧困和饑餓等復(fù)雜問(wèn)題。
但 AI 領(lǐng)域的共識(shí)是，實(shí)現(xiàn)這種先進(jìn)的能力需要數(shù)十甚至數(shù)百年的時(shí)間 —— 如果確實(shí)有可能開發(fā)出來(lái)的話。許多人還擔(dān)心，過(guò)度熱衷于追求 AGI 可能會(huì)適得其反，歷史上，在 20 世紀(jì) 70 年代與 80 年代末 90 年代初，AI 研究過(guò)度夸大其詞，但表現(xiàn)不佳。一夜之間，資金枯竭，給一整代研究者造成了深深創(chuàng)傷。過(guò)去擔(dān)任行業(yè)組織‘AI 合作伙伴關(guān)系（Partnership on AI）’研究主管的 Peter
Eckersley 說(shuō)：‘這個(gè)領(lǐng)域感覺(jué)像是一潭死水�！疧penAI 是該組織的成員之一。
在此背景下，OpenAI 于 2015 年 12 月 11 日以高調(diào)的姿態(tài)誕生了。它不是第一個(gè)公開宣布要實(shí)現(xiàn) AGI 的實(shí)驗(yàn)室 —— DeepMind 在五年前就這么做了，并在 2014 年被 Google 收購(gòu) —— 但似乎有所不同：首先，其驚人的啟動(dòng)資金量引起了轟動(dòng)，它將從私人投資者（包括 Musk、Altman 和 PayPal 聯(lián)合創(chuàng)始人Peter Thiel）那里獲得 10 億美元的啟動(dòng)資金，明星投資者名單也引起了媒體的極大關(guān)注；其次，其首批員工名單也同樣令人矚目：
- 曾任支付公司 Stripe CTO 的 Greg Brockman 將擔(dān)任 CTO；
- 曾在 AI 先驅(qū) Geoffrey Hinton 手下學(xué)習(xí)的 Ilya Sutskever 將擔(dān)任研究主任；
- 七名從頂尖大學(xué)畢業(yè)或從其他公司挑選而來(lái)的研究員，組成了核心技術(shù)團(tuán)隊(duì)；
- 2018 年 2 月，Musk 宣布因?qū)?OpenAI 的方向存在分歧而離開了該公司，一個(gè)月后，Altman 辭去了創(chuàng)業(yè)加速器 Y Combinator 的總裁職務(wù)，成為 OpenAI 的 CEO。
但最重要的是，OpenAI 的非營(yíng)利性質(zhì)相當(dāng)于一個(gè)聲明：‘有一個(gè)領(lǐng)先的研究機(jī)構(gòu)，可以將全局利益放在個(gè)人自身利益之上，這非常重要。我們非常鼓勵(lì)研究人員將被鼓勵(lì)對(duì)外發(fā)布他們的工作，無(wú)論是論文、博客文章還是代碼，而我們的專利（如果有）將與世界分享。’雖然沒(méi)有指明，但也暗示得非常清楚：像 DeepMind 這樣的實(shí)驗(yàn)室無(wú)法為人類服務(wù)，因?yàn)樗鼈兪艿缴虡I(yè)利益的限制，它們是封閉的，但 OpenAI 是開放的。
在研究環(huán)境越來(lái)越私有化、專注于短期金融收益的趨勢(shì)下，OpenAI 為解決最大的問(wèn)題提供了一種新的融資方式。緊密關(guān)注該實(shí)驗(yàn)室發(fā)展的機(jī)器學(xué)習(xí)專家 Chip Huyen 說(shuō)：‘它是一束希望之光�！�
在舊金山的 18th Street 和 Folsom Street 的交叉口處，OpenAI 的辦公室看起來(lái)像個(gè)神秘倉(cāng)庫(kù)。這座歷史悠久的建筑物由沉悶的灰色板條搭建而成，有著有色玻璃窗戶，大部分百葉窗都被拉了下來(lái)，染著褪色紅漆的‘先驅(qū)建筑（PIONEER BUILDING）’這幾個(gè)字毫不起眼地藏在拐角處，這是它曾經(jīng)的主人先鋒卡車廠存在的痕跡。
但其內(nèi)部空間明亮且通風(fēng)良好。一樓有幾個(gè)公共空間和兩個(gè)會(huì)議室，其中一個(gè)適合舉行大型會(huì)議，被稱為《2001 太空漫游》（A Space Odyssey）；另一個(gè)則更像是一個(gè)閃爍著榮耀之光的電話亭，被稱為《無(wú)盡的玩笑》（Infinite Jest） —— 這是我訪問(wèn)期間被限制進(jìn)入的空間。我也被禁止參觀二樓和三樓，所有人的辦公桌、機(jī)器人(11.890, 0.06, 0.51%)和幾乎所有有趣的東西都在那里，訪談時(shí)間到了，他們就下來(lái)見(jiàn)我，會(huì)議間隙，會(huì)有一名員工小心地監(jiān)督我。
拜訪 Brockman 那天，天空湛藍(lán)，但他看起來(lái)有些緊張和謹(jǐn)慎。他帶著試探性的微笑說(shuō)：‘我們從未給過(guò)別人如此多的權(quán)限�！糁翢o(wú)修飾的簡(jiǎn)潔發(fā)型，像 OpenAI 的許多其他人一樣，穿著休閑服裝。
31 歲的 Brockman 在北達(dá)科他州的農(nóng)村長(zhǎng)大，度過(guò)了他所描述的‘專注、安靜的童年’：擠牛奶、收雞蛋，自學(xué)愛(ài)上了數(shù)學(xué)。2008 年，他進(jìn)入哈佛大學(xué)，本打算雙修數(shù)學(xué)和計(jì)算機(jī)科學(xué)，但很快就不耐煩了，因?yàn)樗释M(jìn)入現(xiàn)實(shí)世界；一年后，他退學(xué)轉(zhuǎn)而進(jìn)入麻省理工學(xué)院，但幾個(gè)月后，他又退學(xué)了 —— 這是他的最終決定，他搬到了舊金山，再也沒(méi)有回頭。
Brockman 帶我去吃午飯，以便在公司全體會(huì)議期間將我?guī)щx辦公室。在街對(duì)面的咖啡館里，他充滿熱情、真誠(chéng)并興奮地談?wù)?OpenAI，多次將其使命與科學(xué)史上里程碑式的成就相提并論。他有著很容易令人欣賞的領(lǐng)導(dǎo)魅力，還分享了讓自己印象深刻的書，重點(diǎn)落在了硅谷最喜歡的敘事之一 —— 美國(guó)登月競(jìng)賽上，‘我很喜歡的一個(gè)故事是清潔工的故事�！�
他接著引用了一個(gè)可能是虛構(gòu)的著名故事：‘肯尼迪走向他，問(wèn)他：‘你在干什么？’他說(shuō)：‘哦，我正在幫助把人送上月球！’’還有橫跨大陸的鐵路，‘實(shí)際上這是最后一個(gè)完全由人手工完成的大型工程…… 一個(gè)風(fēng)險(xiǎn)極大的巨大規(guī)模項(xiàng)目’，以及愛(ài)迪生的白熾燈，‘一群杰出的專家說(shuō)‘它永遠(yuǎn)不會(huì)成功’，一年后它就發(fā)布了’等等。
Brockman 知道 OpenAI 所下的賭注之大，也知道它會(huì)引發(fā)憤世嫉俗的情緒，帶來(lái)審查。但每次提到這些，他傳達(dá)的信息都很明確：人們可以盡情懷疑我們，這是我們做出大膽嘗試的代價(jià)。
早期加入 OpenAI 的人都記得當(dāng)時(shí)充滿能量、興奮和使命感的氛圍。團(tuán)隊(duì)很小 —— 每個(gè)人的關(guān)系都很密切 —— 管理方式松散且不正式。每個(gè)人都遵從一個(gè)扁平的結(jié)構(gòu)，任何人都可以提出想法，參與辯論。
Musk 在建立‘集體主義神話’方面起了不小的作用�！麑�(duì)我說(shuō)‘我明白，AGI 可能很遙遠(yuǎn)，但如果不呢？如果未來(lái)五到十年，它實(shí)現(xiàn)的幾率只有 1% 或 0.1%，我們應(yīng)該認(rèn)真研究它嗎？’’加州大學(xué)伯克利分校的教授 Pieter Abbeel 回憶道，他和他的幾個(gè)學(xué)生在前兩年在那里工作。
但這種不正式的運(yùn)營(yíng)方式也部分導(dǎo)致了團(tuán)隊(duì)方向的模糊。2016 年 5 月，Altman 和 Brockman 見(jiàn)了當(dāng)時(shí)是谷歌研究員的 Dario Amodei，當(dāng)時(shí)，Amodei 告訴他們沒(méi)有人理解 OpenAI 在做什么，其實(shí)在《紐約客》發(fā)表的一篇報(bào)道中，團(tuán)隊(duì)自己也不清楚�！覀儸F(xiàn)在的目標(biāo)……是做最好的事情�！疊rockman 說(shuō)，‘有點(diǎn)模糊�！�
然而，幾個(gè)月后，Amodei 加入了團(tuán)隊(duì)。他的妹妹 Daniela Amodei 之前曾與 Brockman 合作，所以他已經(jīng)認(rèn)識(shí)了 OpenAI 的許多成員。兩年后，在 Brockman 的邀請(qǐng)下，Daniela 也加入了 OpenAI。‘想象一下，我們從零開始�！疊rockman 說(shuō)，‘我們只有這個(gè)理想，希望 AGI 進(jìn)展順利。’
到了 2017 年 3 月，也就是成立 15 個(gè)月后，公司管理層意識(shí)到，團(tuán)隊(duì)需要更加專注。于是，Brockman 和其他幾位核心成員開始起草一份內(nèi)部文件，為實(shí)現(xiàn) AGI 的路徑鋪平道路。
但很快他們就發(fā)現(xiàn)了一個(gè)致命問(wèn)題 —— 隨著團(tuán)隊(duì)對(duì)領(lǐng)域的發(fā)展趨勢(shì)研究得更加深入，他們意識(shí)到，保持非營(yíng)利性質(zhì)在經(jīng)濟(jì)上是不可持續(xù)的。其他競(jìng)爭(zhēng)者利用算力資源取得突破性成果的速度每 3.4 個(gè)月就會(huì)翻倍。Brockman 說(shuō)，‘為了跟上這個(gè)節(jié)奏’，他們需要足夠的資本來(lái)匹配或超過(guò)這種指數(shù)級(jí)增長(zhǎng)速度，這需要一種新的組織模式，在可以快速積累資金的同時(shí)，還忠于使命。
公眾和大多數(shù)員工都不知道，是在這個(gè)前提下，OpenAI 于 2018 年 4 月發(fā)布了其新的章程。該文件重新闡述了實(shí)驗(yàn)室的核心價(jià)值觀，但微妙地轉(zhuǎn)變了用詞以反映新情況。
除了承諾‘避免使用 AI 或 AGI 對(duì)人類造成傷害或過(guò)度集中權(quán)力’之外，它還強(qiáng)調(diào)了對(duì)資源的需求‘我們預(yù)計(jì)需要調(diào)動(dòng)大量資源來(lái)實(shí)現(xiàn)我們的使命，但我們將始終努力減少員工和利益相關(guān)者之間產(chǎn)生的可能損害廣泛利益的利益沖突�！�
‘我們花了很長(zhǎng)時(shí)間與員工在內(nèi)部反復(fù)推敲原則�！疊rockman 說(shuō)，‘即使我們改變了我們的結(jié)構(gòu)，這些東西也必須保持不變�！�
組織的結(jié)構(gòu)變化發(fā)生在 2019 年 3 月，OpenAI 建立了一個(gè)‘有限利潤(rùn)’的子機(jī)構(gòu)來(lái)擺脫純粹的非營(yíng)利性質(zhì) —— 這是一個(gè)在非營(yíng)利實(shí)體監(jiān)管下的盈利機(jī)構(gòu)，投資者回報(bào)的限制為 100 倍。不久之后，它宣布獲得了微軟 10 億美元的投資 —— 盡管當(dāng)時(shí)沒(méi)有透露這是由現(xiàn)金和 Azure（微軟的云計(jì)算平臺(tái)）提供的信用額度構(gòu)成的。
不出所料，這一舉動(dòng)引發(fā)了一波指責(zé) OpenAI 背棄使命的浪潮。在消息宣布后不久，Hacker News 發(fā)布了一篇文章，文中一位用戶問(wèn) 100 倍回報(bào)如何限制：‘Google 的早期投資者已經(jīng)獲得了大約 20 倍的資本回報(bào)，而你們的賭注是 OpenAI 將擁有比 Google 回報(bào)更高幾倍的企業(yè)結(jié)構(gòu)……但你們不想‘過(guò)度集中權(quán)力’，這如何實(shí)現(xiàn)？如果權(quán)利不是資源集中的話，是什么？’
這一舉動(dòng)也令許多員工感到不安，他們表達(dá)了類似的擔(dān)憂。為了平息內(nèi)部的不安，管理層起草了一份 FAQ 作為一系列高度保密的過(guò)渡文件的一部分，其中一個(gè)問(wèn)題是這樣的：‘我能信任 OpenAI 嗎？’‘是的’，回答開始，隨后是一段解釋。
章程是 OpenAI 的支柱，也是實(shí)驗(yàn)室所有策略和行動(dòng)的基礎(chǔ)。在我們的午餐期間，Brockman 像背誦經(jīng)文一樣誦讀它，從公司的各個(gè)層面出發(fā)解釋其存在的原因（他在背誦中途強(qiáng)調(diào)：‘我想我知道每個(gè)句子是什么，因?yàn)槲一撕芏鄷r(shí)間仔細(xì)閱讀章程，確保我的記憶完全正確，我不是在會(huì)議前才讀這些東西的。’）：
- 你將如何確保人類在你們開發(fā)更高級(jí)別技術(shù)能力的同時(shí)繼續(xù)過(guò)著有意義的生活？‘正如我們所寫的，我們認(rèn)為它的影響應(yīng)該是給每個(gè)人經(jīng)濟(jì)自由，讓他們找到今天無(wú)法想象的新機(jī)會(huì)。’
- 你將如何組織自己來(lái)向人類平均分配 AGI？‘我認(rèn)為公共事業(yè)是我們的愿景的最佳類比。但是再一次強(qiáng)調(diào)，它完全受章程的約束�！�
- 你將如何競(jìng)爭(zhēng)率先實(shí)現(xiàn) AGI 而不損害安全性？‘我認(rèn)為絕對(duì)存在這種重要的平衡，我們最好的方法就是依照章程�！�
對(duì) Brockman 來(lái)說(shuō)，嚴(yán)格遵守這份文件是 OpenAI 的組織結(jié)構(gòu)保持有效性的關(guān)鍵。內(nèi)部一致性至關(guān)重要：除了極少數(shù)例外，所有全職員工都必須在同一個(gè)辦公室工作 —— 對(duì)于政策團(tuán)隊(duì)，尤其是主管 Jack Clark 來(lái)說(shuō)，這個(gè)規(guī)定讓他的生活需要在舊金山和華盛頓特區(qū)之間高頻流轉(zhuǎn)，但他不介意，事實(shí)上，他認(rèn)同這種做法。他說(shuō)，正是那些一起度過(guò)的空閑時(shí)間，比如和同事一起吃午飯，幫助所有人保持共識(shí)。
在許多方面，這種方法顯然取得了成功：公司擁有令人印象深刻的一致性文化。員工工作時(shí)間長(zhǎng)，用餐和社交時(shí)間不斷地談?wù)摴ぷ鳎辉S多人參加同一個(gè)派對(duì)，訂閱理性哲學(xué)雜志‘有效利他主義’；他們用機(jī)器學(xué)習(xí)術(shù)語(yǔ)開玩笑來(lái)描述自己的生活：‘你的生命是函數(shù)的一部分嗎？’‘你優(yōu)化什么？’‘一切基本上都是一個(gè)最小最大函數(shù)�！�
公平地說(shuō)，其他 AI 研究者也喜歡這樣做，但熟悉 OpenAI 的人們都同意：與該領(lǐng)域的其他人相比，它的員工更多地將 AI 研究視為身份而非工作（2019 年 11 月，Brockman 在 OpenAI 的標(biāo)志性的花朵背景下在辦公室里迎娶了他交往一年的女友 Anna，Sutskever 擔(dān)任主持人，戒指?jìng)鬟f者是一個(gè)機(jī)械手）。
但在 2019 年年中，章程不再僅是午餐時(shí)間的談資。在轉(zhuǎn)為有限利潤(rùn)后不久，管理層推出了一種新工資結(jié)構(gòu)，部分基于每個(gè)員工對(duì)使命的理解程度。在一個(gè)名為‘統(tǒng)一技術(shù)階梯（Unified Technical Ladder）’的電子表格中，除了‘工程專業(yè)知識(shí)’和‘研究方向’等板塊外，最后一個(gè)板塊概述了每個(gè)級(jí)別的文化相關(guān)期望：
- 第三級(jí)：‘你理解并內(nèi)化了 OpenAI 的章程�！�
- 第五級(jí)：‘你確保你和你的團(tuán)隊(duì)成員所參與的所有項(xiàng)目與章程一致�！�
- 第七級(jí)：‘你負(fù)責(zé)維護(hù)和改進(jìn)章程，并要求組織中的其他人也做到。’
大多數(shù)人第一次聽說(shuō) OpenAI 是在 2019 年 2 月 14 日。當(dāng)天，實(shí)驗(yàn)室宣布了令人印象深刻的新研究成果：一種可以輕松生成令人信服的文章和報(bào)道的模型 —— 只需輸入《指環(huán)王》中的一句話或者一條關(guān)于 Miley Cyrus 扒竊的（虛假）新聞報(bào)道的開頭，它就會(huì)輸出大量相同風(fēng)格的段落。
但也有一個(gè)問(wèn)題：研究人員表示，這種名為 GPT-2 的模型因過(guò)于危險(xiǎn)而無(wú)法發(fā)布。如果這么強(qiáng)大的技術(shù)落入了壞人手中，就很容易被武器化，用于大規(guī)模生產(chǎn)虛假信息。
科學(xué)家們的反對(duì)聲音立即出現(xiàn)了。一些人說(shuō)，OpenAI 只是在做公關(guān)噱頭，GPT-2 根本不足以構(gòu)成威脅，如果是威脅，為什么要公布其存在卻不向公眾開放以逃避公眾審查？‘OpenAI 似乎是在利用人們對(duì) AI 的恐慌進(jìn)行營(yíng)銷。’研究 AI 生成的虛假信息的羅格斯大學(xué)助理教授 Britt Paris 說(shuō)。
到了 5 月，OpenAI 改變了主意，宣布了‘分階段發(fā)布’的計(jì)劃。在接下來(lái)的幾個(gè)月里，它逐步推出了越來(lái)越強(qiáng)大的 GPT-2 版本。在此期間，它還與幾個(gè)研究機(jī)構(gòu)合作，審查算法的濫用可能性，并制定反制措施。最終， OpenAI 在 11 月發(fā)布了完整代碼，稱‘到目前為止沒(méi)有強(qiáng)有力的濫用證據(jù)’。
在公眾持續(xù)指責(zé)公司是為了追求公關(guān)效果的情況下，OpenAI 堅(jiān)稱 GPT-2 并不是噱頭，相反，這是經(jīng)過(guò)一系列內(nèi)部討論和辯論后達(dá)成共識(shí)的謹(jǐn)慎思考的實(shí)驗(yàn)。共識(shí)是，即使這次有些過(guò)度，這樣的行動(dòng)也會(huì)為應(yīng)對(duì)更危險(xiǎn)的研究設(shè)立先例。此外，章程預(yù)測(cè)，‘安全問(wèn)題’將逐漸迫使實(shí)驗(yàn)室‘將來(lái)減少發(fā)布的產(chǎn)品’。
這也是政策團(tuán)隊(duì)在連續(xù)的六個(gè)月的博客文章中仔細(xì)闡述的論點(diǎn)，我也參加了一次討論會(huì)。政策研究科學(xué)家 Miles Brundage 在谷歌文檔中強(qiáng)調(diào)說(shuō)：‘我認(rèn)為這肯定是成功故事框架的一部分。這一節(jié)的主題應(yīng)該是：我們做了一件偉大的事情，現(xiàn)在有些人正在復(fù)制它，這是其有益的一個(gè)證據(jù)�！�
但是，OpenAI 與 GPT-2 的媒體宣傳也遵循了一個(gè)既定模式，這讓更廣泛的 AI 社區(qū)感到警惕。多年來(lái)，實(shí)驗(yàn)室的重大研究公告已多次被指責(zé)是為了推動(dòng) AI 炒作周期。批評(píng)者還曾多次指責(zé)實(shí)驗(yàn)室將其結(jié)果夸大到了錯(cuò)誤的程度，因此，AI 領(lǐng)域的許多人傾向于與 OpenAI 保持距離。
這并沒(méi)有阻止實(shí)驗(yàn)室繼續(xù)投入資源來(lái)提升其公眾形象。除了研究論文外，OpenAI 還在精心撰寫維護(hù)的公司博客文章中發(fā)布其結(jié)果，其中的所有工作都是在內(nèi)部完成的，包括文字撰寫、多媒體材料的制作和每個(gè)封面圖片的設(shè)計(jì)。
有一段時(shí)間，它還開始制作一部記錄其項(xiàng)目的紀(jì)錄片，以對(duì)標(biāo) DeepMind 的 AlphaGo 的 90 分鐘電影，最終這成為了一個(gè)獨(dú)立制作的作品，Brockman 和他的妻子 Anna 進(jìn)行了部分資助（我也同意無(wú)償在紀(jì)錄片中出現(xiàn)，為 OpenAI 的成就提供技術(shù)解釋和背景）。
反對(duì)聲音一直在增加，為了解決這個(gè)問(wèn)題，內(nèi)部討論也不斷增多。員工對(duì)外部的持續(xù)批評(píng)感到沮喪，管理層擔(dān)心這將削弱實(shí)驗(yàn)室的影響力和雇傭最優(yōu)秀人才的能力。一份內(nèi)部文件強(qiáng)調(diào)了這個(gè)問(wèn)題，并提出了外聯(lián)策略：
-‘政策’部分指出：‘為了在政策層面具有影響力，我們需要被外界視為機(jī)器學(xué)習(xí)研究和 AGI 領(lǐng)域最值得信任的信息源。’
-‘戰(zhàn)略’部分寫道：‘獲得研究界的廣泛支持不僅是獲得這樣的聲譽(yù)所必需的，而且會(huì)放大我們的信息傳遞�！� ‘明確地將機(jī)器學(xué)習(xí)社區(qū)視為溝通利益相關(guān)者，改變我們的口吻和外部信息，只有在有意選擇的前提下才與他們對(duì)抗�！�
GPT-2 引發(fā)如此激烈的反對(duì)還有另一個(gè)原因。人們覺(jué)得 OpenAI 放棄了其早期的開放和透明的承諾。隨著一個(gè)月后的轉(zhuǎn)型的消息，這些被隱瞞的研究讓人們更加懷疑。難道技術(shù)一直被保密，是為了便利未來(lái)的許可證發(fā)放嗎？
然而，人們并不知道，OpenAI 不止一次選擇了隱藏其研究計(jì)劃，它還有另一個(gè)保密的研究計(jì)劃。
關(guān)于實(shí)現(xiàn) AGI 需要什么技術(shù)的問(wèn)題，目前存在兩種主流技術(shù)理論：一種理論認(rèn)為，所有必要的技術(shù)已經(jīng)存在，弄清楚如何擴(kuò)展和組合它們即可；另一種理論認(rèn)為，需要有全新的范式，當(dāng)前 AI 中的主流技術(shù)，深度學(xué)習(xí)，不足以達(dá)到這個(gè)目標(biāo)。
大多數(shù)研究人員的觀點(diǎn)介于這兩個(gè)極端之間，但 OpenAI 則幾乎一直專注于擴(kuò)展和組合這一端。它的大部分突破都是將更多的算力資源投入到其他實(shí)驗(yàn)室開發(fā)的技術(shù)創(chuàng)新中而取得的。
Brockman 和 Sutskever 否認(rèn)這是他們唯一的策略，但實(shí)驗(yàn)室嚴(yán)密保守的研究表明了情況可能恰恰相反。一個(gè)名為‘Foresight’的團(tuán)隊(duì)正在實(shí)驗(yàn)，測(cè)試他們能否通過(guò)使用越來(lái)越大量的數(shù)據(jù)和算力來(lái)訓(xùn)練現(xiàn)有的算法，將 AI 能力推向更遠(yuǎn)的前沿。對(duì)于管理層來(lái)說(shuō)，這些實(shí)驗(yàn)的結(jié)果已經(jīng)證實(shí)了他們的直覺(jué)，即實(shí)驗(yàn)室的全力投入、計(jì)算驅(qū)動(dòng)的策略是最佳方法。
由于 OpenAI 認(rèn)為這些是其主要競(jìng)爭(zhēng)優(yōu)勢(shì)，因此這些結(jié)論被隱瞞了大約六個(gè)月。員工和實(shí)習(xí)生受到明確指示不得泄露這些結(jié)果，離職員工也簽署了保密協(xié)議。
直到 2020 年 1 月，該團(tuán)隊(duì)才在一個(gè)主流開源 AI 研究數(shù)據(jù)庫(kù)上發(fā)布了一篇論文，雖然沒(méi)有引起太多關(guān)注，但那些參與了這個(gè)被嚴(yán)格保密的實(shí)驗(yàn)的人對(duì)這種行為變化感到迷惑 —— 值得注意的是，幾個(gè)月前（指文章發(fā)布時(shí)），另外一篇由不同研究人員得出類似結(jié)果的論文已經(jīng)被發(fā)布了。
這種程度的保密不是 OpenAI 的初衷，但現(xiàn)在已經(jīng)成為他們的習(xí)慣。隨著時(shí)間的推移，OpenAI 的管理層已經(jīng)放棄了他們最初的信念，即‘公開是構(gòu)建有益的 AGI 的最佳方式’。
現(xiàn)在，保持沉默的重要性已經(jīng)被灌輸給那些與實(shí)驗(yàn)室合作或在實(shí)驗(yàn)室工作的人，包括不經(jīng)與溝通團(tuán)隊(duì)明確許可就不能接受記者采訪。在初次拜訪實(shí)驗(yàn)室之后，我開始聯(lián)系公司員工，這時(shí)我收到了一封來(lái)自溝通團(tuán)隊(duì)負(fù)責(zé)人的電子郵件，提醒我所有的采訪必須經(jīng)過(guò)她的批準(zhǔn)。
當(dāng)我拒絕并表示這會(huì)破壞大家告訴我的信息的有效性時(shí)，她便指示員工讓她知道我的工作。之后，之前是記者的 Clark 發(fā)來(lái)了一條 Slack 信息，贊揚(yáng)大家對(duì)記者的‘調(diào)查行動(dòng)’保密得非常緊密。
在回應(yīng)加強(qiáng)保密措施的聲明中，OpenAI 的發(fā)言人提到了章程的一部分：‘我們預(yù)計(jì)，未來(lái)我們會(huì)減少與安全問(wèn)題相關(guān)的披露，同時(shí)增加關(guān)于安全、政策和標(biāo)準(zhǔn)研究重要性的分享�！l(fā)言人還補(bǔ)充道：‘我們每次信息/產(chǎn)品發(fā)布都要經(jīng)過(guò)信息風(fēng)險(xiǎn)評(píng)估流程，我們希望放緩我們的結(jié)果發(fā)布節(jié)奏，以了解潛在的風(fēng)險(xiǎn)和影響�！�
OpenAI 的最大秘密之一是接下來(lái)要開展的項(xiàng)目。消息人士向我描述了它的大致內(nèi)容：使用大量的算力資源訓(xùn)練一種能夠處理圖像、文本和其他類型數(shù)據(jù)的 AI 系統(tǒng)（多模態(tài)模型）。
一小組人正在進(jìn)行初步嘗試，預(yù)計(jì)其他團(tuán)隊(duì)和工作最終也會(huì)加入其中。在宣布這個(gè)項(xiàng)目的全公司會(huì)議上，實(shí)習(xí)生被禁止參加。熟悉計(jì)劃的人提供了一個(gè)解釋：管理層認(rèn)為這是最有希望達(dá)成 AGI 的方式。
負(fù)責(zé) OpenAI 戰(zhàn)略的人是前谷歌員工、現(xiàn)任研究總監(jiān) Dario Amodei。他給我留下了一個(gè)更加焦慮版的 Brockman 印象，他同樣真誠(chéng)而敏感，但是帶著一股不穩(wěn)定的緊張的能量。他在講話時(shí)看起來(lái)有些疏離，眉頭緊鎖，一只手不自覺(jué)地拽著他的卷發(fā)。
Amodei 將實(shí)驗(yàn)室的戰(zhàn)略分為兩部分。第一部分規(guī)定了 OpenAI 如何實(shí)現(xiàn)先進(jìn)的 AI 能力，他將其比作投資者的‘投資組合’，不同的 OpenAI 團(tuán)隊(duì)正在下不同的注，例如，語(yǔ)言團(tuán)隊(duì)在一項(xiàng)理論上押注，認(rèn)為 AI 可以通過(guò)純語(yǔ)言學(xué)習(xí)對(duì)世界有深刻的理解，而機(jī)器人團(tuán)隊(duì)正在推進(jìn)一種相反的理論，認(rèn)為智能需要有‘身體’作為介質(zhì)才能發(fā)展。
也正像投資組合一樣，不是每個(gè)投注都有同等的權(quán)重，但為了科學(xué)嚴(yán)謹(jǐn)性，所有投注都應(yīng)該在被放棄之前得到測(cè)試。Amodei 以 GPT-2 舉例闡釋了為什么要保持開放的態(tài)度：‘純語(yǔ)言領(lǐng)域甚至是我們中的一些人都有些懷疑的方向。但現(xiàn)在我們看到，這真的很有前途�！�
隨著時(shí)間的推移，有的投注權(quán)重會(huì)有所升級(jí)，會(huì)吸引團(tuán)隊(duì)更多的精力。然后它們會(huì)相互交叉組合，目標(biāo)是逐漸減少小團(tuán)隊(duì)的數(shù)量，最終合并為面向 AGI 的單一技術(shù)團(tuán)隊(duì) —— 這正是 OpenAI 最新的頂級(jí)秘密項(xiàng)目所經(jīng)歷的過(guò)程。
Amodei 還解釋說(shuō)，策略的第二部分著重于如何使不斷進(jìn)步的 AI 系統(tǒng)變得安全。這包括確保它們反映人類價(jià)值觀、能夠解釋其決策背后的邏輯，并且在學(xué)習(xí)的過(guò)程中不會(huì)傷害人類。專門致力于實(shí)現(xiàn)這些安全目標(biāo)的團(tuán)隊(duì)正在尋求開發(fā)可應(yīng)用于不同項(xiàng)目的方法。例如，可解釋性團(tuán)隊(duì)開發(fā)的技術(shù)可以用來(lái)揭示 GPT-2 的句子構(gòu)造或機(jī)器人運(yùn)動(dòng)背后的邏輯。
Amodei 承認(rèn)，這部分策略有些雜亂無(wú)章，更多建立在直覺(jué)而非已有理論基礎(chǔ)上�！谀硞�(gè)時(shí)刻，我們將實(shí)現(xiàn) AGI，在那之前我希望這些系統(tǒng)在運(yùn)行時(shí)能讓我感覺(jué)良好�！f(shuō)，‘任何令我感到不好的事情，我都會(huì)建立和招募專注于解決這些問(wèn)題的團(tuán)隊(duì)�！�
盡管 Amodei 在追求曝光率和保密性方面有點(diǎn)矛盾，但當(dāng)他說(shuō)這句話時(shí)，他看起來(lái)很真誠(chéng) —— 失敗的可能性似乎讓真的他感到不安。
‘我們處于一個(gè)尷尬的位置：我們不知道 AGI 會(huì)是什么樣子，也不知道它會(huì)在何時(shí)出現(xiàn)�！f(shuō)，‘任何人的思維都有局限性，我發(fā)現(xiàn)最好的方法是聘請(qǐng)其他安全研究人員，他們通常有不同于我的視角，我希望有這種差異和多樣性，因?yàn)檫@是發(fā)現(xiàn)并解決所有問(wèn)題的唯一方法�！�
問(wèn)題在于，現(xiàn)實(shí)中的 OpenAI 缺乏‘差異和多樣性’，這一事實(shí)在我待的第三天得到了印證。在唯一一次被允許與員工一起用午餐的時(shí)候，我選擇了看起來(lái)最具多樣性的餐桌。不到一分鐘，我意識(shí)到在那里用餐的人實(shí)際上并非 OpenAI 員工，而是 Musk 創(chuàng)立的 Neuralink，該公司專注于腦機(jī)接口技術(shù)，與 OpenAI 共用一棟大樓和餐廳。
OpenAI 受訪人稱，在 120 多名員工中，25% 為女性或非二元性別人士。她說(shuō)，執(zhí)行團(tuán)隊(duì)中有兩名女性，管理團(tuán)隊(duì)中有 30% 的女性，但她沒(méi)有具體說(shuō)明這些團(tuán)隊(duì)的成員是誰(shuí)（包括 Brockman 和 Altman 在內(nèi)的四位高管都是白人男性，在我在 LinkedIn 和其他來(lái)源上找出的 112 多名員工中，白人或亞洲人為壓倒式的大多數(shù) -- _注：目前這個(gè)信息有變化）_。
公平地說(shuō)，這種缺乏多樣性在 AI 領(lǐng)域很普遍。去年，紐約研究機(jī)構(gòu) AI Now 的一份報(bào)告發(fā)現(xiàn)，女性僅占領(lǐng)先 AI 會(huì)議作者的 18%，教職的 20%，分別占 Facebook 和谷歌研究人員總數(shù)的 15% 和 10%。OpenAI 的受訪人說(shuō)：‘在學(xué)術(shù)界和行業(yè)中，仍有很多工作要做，多樣性和包容性是我們認(rèn)真對(duì)待并不斷努力改進(jìn)的事情，我們通過(guò)與 WiML，Girl Geek 和我們的學(xué)者計(jì)劃等倡議合作來(lái)實(shí)現(xiàn)這一目標(biāo)。’
確實(shí)，OpenAI 已經(jīng)在嘗試擴(kuò)大其人才庫(kù)以增加多樣性，他們?cè)?2018 年啟動(dòng)了針對(duì)少數(shù)族裔的遠(yuǎn)程學(xué)者計(jì)劃。雖然所報(bào)告的過(guò)程均為積極正面的，但最初的八名學(xué)者中只有兩名成為全職員工，拒絕留下的最常見(jiàn)原因是需要在缺乏多樣性的舊金山居住。例如 Nadja Rhodes，現(xiàn)在是一家總部位于紐約的公司的機(jī)器學(xué)習(xí)工程師。
但如果多樣性對(duì)于整個(gè) AI 行業(yè)來(lái)說(shuō)是一個(gè)問(wèn)題，那么對(duì)于一個(gè)使命是將技術(shù)公平地傳播給每個(gè)人的公司來(lái)說(shuō)，這是更加根本的問(wèn)題。事實(shí)上，OpenAI 是缺乏少數(shù)群體成員的代表。
OpenAI 計(jì)劃如何‘把 AGI 的好處分配給所有人’？在 Brockman 經(jīng)常引用的組織使命中，這闡述的并不太清晰，管理層也傾向于含糊地談?wù)撨@個(gè)問(wèn)題（2020 年 1 月，牛津大學(xué)未來(lái)人類研究所與 OpenAI 合作發(fā)布了一份報(bào)告，建議通過(guò)分配一定比例的利潤(rùn)來(lái)共享收益，但作者們也提到‘有關(guān)如何實(shí)施’是‘重大未解決問(wèn)題’）。一位曾在 OpenAI 工作過(guò)的前職員匿名表示：‘這是我認(rèn)為 OpenAI 最大的問(wèn)題�！�
‘他們正在用復(fù)雜的技術(shù)實(shí)踐來(lái)嘗試用 AI 解決社會(huì)問(wèn)題�！_德斯大學(xué)的 Britt Paris 說(shuō)，‘似乎他們實(shí)際上沒(méi)有能力真正理解社會(huì)問(wèn)題，他們只是知道這是個(gè)賺錢的好出發(fā)點(diǎn)�！�
Brockman 同意，OpenAI 最終需要技術(shù)和社會(huì)專業(yè)知識(shí)結(jié)合才能實(shí)現(xiàn)其使命。但他不同意需要從一開始就解決社會(huì)問(wèn)題。他說(shuō)：‘你要如何將倫理學(xué)或其他觀點(diǎn)融入進(jìn)來(lái)？什么時(shí)候，如何引入？可以踐行的一種策略是，從一開始就嘗試把可能需要的所有東西融入進(jìn)來(lái) —— 但我認(rèn)為這種策略不太可能成功。’
他說(shuō)，首先需要弄清楚 AGI 會(huì)是什么樣子，那時(shí)才是‘確保我們理解后果的時(shí)候’。
2019 年夏天，在實(shí)行盈利上限模式和微軟投資 10 億美元之后的幾周后，OpenAI 的管理層向員工保證，這些變化不會(huì)從實(shí)質(zhì)上改變 OpenAI 的研究方法。微軟與實(shí)驗(yàn)室的價(jià)值觀高度一致，任何商業(yè)化的努力都很遙遠(yuǎn)，探索基本問(wèn)題仍是工作的核心。
有一段時(shí)間，這些保證似乎是真的，項(xiàng)目繼續(xù)進(jìn)行。許多員工甚至不知道公司是否有向微軟作出過(guò)任何承諾。
但 2020 年，商業(yè)化壓力加劇，盈利性項(xiàng)目的需求不再像是遙遠(yuǎn)的未來(lái)。Altman 私下與員工分享了實(shí)驗(yàn)室 2020 年的愿景，他傳遞的信息很清楚：OpenAI 需要賺錢才能進(jìn)行研究，反之則不行。
管理層表示，這是一種艱難但必需的權(quán)衡，因?yàn)槿狈Ω挥械拇壬凭栀?zèng)者，實(shí)驗(yàn)室必須做出這個(gè)選擇。相比之下，位于西雅圖的非營(yíng)利組織 AI2 是一個(gè)雄心勃勃的推進(jìn)基礎(chǔ) AI 研究的組織，它的資金來(lái)自于已故億萬(wàn)富翁 Paul Allen 留下的自維持（至少在可預(yù)見(jiàn)的未來(lái)）的資金池，Paul Allen 因與 Bill Gates 共同創(chuàng)立微軟而聞名。
但事實(shí)是，OpenAI 面臨這種權(quán)衡，不僅是因?yàn)樗鼪](méi)錢，還因?yàn)樗龀隽艘钕葘?shí)現(xiàn) AGI 的戰(zhàn)略選擇。這種壓力迫使它做出看起來(lái)越來(lái)越遠(yuǎn)離初衷的決定。它急于吸引資金和人才，傾向于輿論炒作，希望保密以使其研究保持優(yōu)勢(shì)，追求算力密集的策略 —— 不是因?yàn)檫@是實(shí)現(xiàn) AGI 的唯一方式，而是因?yàn)檫@也許是最快的方式。
然而，OpenAI 仍然是 AI 人才和前沿研究的堡壘，聚集了真誠(chéng)地努力為人類福利而工作的人 —— 換句話說(shuō)，它仍然擁有最重要的根基，而且還有時(shí)間去改變。
采訪前遠(yuǎn)程研究員 Rhodes 時(shí)，我問(wèn)她這篇文章中最不能跳過(guò)的一個(gè)話題是什么，她猶豫地說(shuō)：‘我想，在我看來(lái)，其中一些問(wèn)題可能來(lái)自于它面臨的環(huán)境，還有一些來(lái)自于它傾向于吸引的和排除的人�！�
‘但在我看來(lái)，它做了一些正確的事情，我感覺(jué)那里的人是真誠(chéng)地在努力�！�
