12 月 28 日消息,根據(jù)風險投資家、谷歌中國前總裁李開復的預測,中國的生成式人工智能創(chuàng)業(yè)公司正在經(jīng)歷一場“預選賽”。他今年早些時候創(chuàng)立了零一萬物(01.AI),這是一家總部位于北京的初創(chuàng)公司,專注于開發(fā)大語言模型(LLM)。上個月,該公司完成了一輪融資,估值高達 10 億美元。
中國最大的互聯(lián)網(wǎng)公司,如阿里巴巴、騰訊、百度和字節(jié)跳動等,以及眾多初創(chuàng)公司,都在競相開發(fā)自己的大語言模型。有媒體稱之為“百模大戰(zhàn)”,這些科技公司正為在人工智能領(lǐng)域占據(jù)主導地位而展開激烈競爭。李開復在接受采訪時表示,這些公司正處于證明其擁有開發(fā)高質(zhì)量模型技術(shù)的階段。而那些通過考驗的公司將邁向下一階段,即如何增加收入并實現(xiàn)盈利。
李開復預測:“在中國,最終將有幾家大贏家嶄露頭角,部分公司可能會體面地退出市場。但大多數(shù)企業(yè)要么半途而廢,要么轉(zhuǎn)向更為實際的目標,如為特定行業(yè)構(gòu)建應用和解決方案”
零一萬物成立于今年 3 月份,目前擁有 100 多名員工,其中大部分在北京工作。上個月,該公司發(fā)布了其首個開源大語言模型 Yi-34B,但它未來的收入并不僅依賴于此模型。相反,其商業(yè)計劃是出售專有的大語言模型,主要面向中國市場。據(jù)李開復透露,該公司目前正在開發(fā)一種新的、擁有超過 1000 億個參數(shù)的專有模型。
然而,在 Yi-34B 迅速登上 Hugging Face 的開源大語言模型排行榜榜首后,零一萬物引發(fā)了一些爭議。有開發(fā)者發(fā)現(xiàn)該模型似乎使用了 Meta 的開源人工智能模型 Llama,但并未在相關(guān)資料中提及此事。為此,零一萬物后來重新命名了 Yi-34B 的一部分,并公開承認了 Llama 的貢獻。李開復也為他們之前的疏忽公開道歉。
在接受科技媒體 The Information 的采訪時,李開復談到了零一萬物的未來以及中國人工智能產(chǎn)業(yè)的趨勢。他還談到了如何應對美國的芯片出口限制,以及中國公司如何在全球范圍內(nèi)尋找商機。
以下為采訪全文:
問:中國目前有幾十家公司都在競相開發(fā)大語言模型,接下來會發(fā)生什么?
李開復:在我看來,這種情況在中國早已屢見不鮮。例如團購風潮、共享單車應用的興起,甚至在深度科技領(lǐng)域,比如計算機視覺和語音識別技術(shù)。當計算機視覺證明其價值時,無數(shù)中國企業(yè)爭先恐后地涌入,試圖在各種可能的應用中分一杯羹。然而,大多數(shù)企業(yè)并未能幸存下來。
如今,中國的人工智能領(lǐng)域仍處于預選賽階段,競爭異常激烈,甚至可能超過美國。首先,我們需要面對的考驗是:在百家爭鳴的競爭中,哪家企業(yè)能開發(fā)出真正具有高質(zhì)量和高價值的模型?只有技術(shù)過硬,模型表現(xiàn)出色,才能在實際應用中脫穎而出。否則,技術(shù)只能淪為“玩具”,而不能真正解決問題。
通過預選賽的技術(shù)考驗后,企業(yè)將進入下一階段:如何增加商業(yè)價值?你的商業(yè)模式是什么?如何盈利?很快,投資者將提出與云提供商、企業(yè)軟件公司和消費者應用程序相同的問題。如果企業(yè)不能給出明確的答案,那么它們的增長將面臨終結(jié)。
以美國為例,OpenAI 已經(jīng)證明了其在技術(shù)上的領(lǐng)先地位,同時也能夠創(chuàng)造收入。這種價值創(chuàng)造使得其他公司愿意為其投入資源,并在此基礎上構(gòu)建應用。
而在中國,最終將有幾家大贏家嶄露頭角,部分公司可能會體面地退出市場。但大多數(shù)企業(yè)要么半途而廢,要么轉(zhuǎn)向更為實際的目標,如為特定行業(yè)構(gòu)建應用和解決方案,而不是單純地追求大模型的研發(fā)。隨著時間的推移,研發(fā)大模型的成本將會不斷攀升。
問:中國人工智能初創(chuàng)公司及其投資者表示,中國將為生成式人工智能模型和應用開發(fā)自己的生態(tài)系統(tǒng)。你認為呢?
李開復:我們都明白,平行宇宙并不是我們想要看到的。我們更傾向于在全球范圍內(nèi)展開競爭,讓真正出色的公司脫穎而出,這樣效率才更高。但現(xiàn)實卻是,我們無法完全掌控自己的命運。
特別是地緣政治問題。如果我們想進入美國市場,雖然沒有規(guī)定說我們不能進入,但我不認為我們會得到很多業(yè)務。因為在我看來,當前美國市場對中國軟件存在一種不公平的偏見。這是我們不得不面對的現(xiàn)實。
當然,我們對全球其他地區(qū)的商機持開放態(tài)度,但我們深知,有些事情是行不通的。比如,想把我們的專有模型賣給美國公司,這幾乎不可能。他們不會買賬的,我們也不會做無用功。
中國顯然代表著一個巨大的機遇,但我不會將中國公司可能進入的世界其他地區(qū)排除在外?傮w而言,硅谷的做法是“一刀切”,這種模式在諸如 Facebook 和谷歌等公司的崛起中起到了關(guān)鍵作用,并幫助美國獲得了主導地位。但這次不同了,因為大語言模型是在數(shù)據(jù)基礎上進行訓練的。數(shù)據(jù)涉及到偏見、意識形態(tài)和價值觀等問題。美國的價值觀并非在所有國家都受歡迎,不僅是在中國,甚至有些國家根本無法接受。
我認為中東可能是另一個想要以不同方式思考問題的地區(qū)。這促使各國想要更多地對模型進行控制。
我堅信,為不同國家構(gòu)建具有特殊性的模型是有可能的。硅谷的公司不會這么做,因為他們認為自己的價值觀是正確的,并希望更多的人能夠接受并融入其中。而且,為不同市場構(gòu)建不同的大模型需要大量的工程工作,所以硅谷的公司自然不愿意投入這些模型的開發(fā)。而來自世界其他地區(qū)(包括中國)的公司,可能有機會深入研究這種模型。但顯然,他們必須贏得用戶和各國政府的信任。
問:有媒體報道稱,貴公司成功降低了 Yi-34B 的人工智能培訓成本。你們是如何做到的?
李開復:我們有一支超級強大的基礎設施團隊,他們可是我們公司最大的隊伍。我以前就跟員工們說過,每加一個建模人員,圖形處理單元的負擔就重一分;但是每加一個基礎設施人員,圖形處理單元的效率就能提升一些。當然,建模團隊也很重要,不過從一開始,我們就特別重視基礎設施團隊的建設。
這些基礎設施團隊的成員就像是無名英雄一樣。他們得負責硬件、軟件還有海量的數(shù)據(jù)傳輸,得同時處理圖形處理單元、內(nèi)存和網(wǎng)絡,這三者中的任何一個都可能成為瓶頸。要知道,圖形處理單元擴展到幾千以上會很難。從 2000 個增加到 8000 個的時候,可不是簡單地用軟件就能搞定的,因為模型和數(shù)據(jù)量一大,網(wǎng)絡需求就會有天翻地覆的變化。
我們的基礎設施團隊里有好幾十名工程師,是目前零一萬物最大的團隊。他們得研究怎么用 FP8(英偉達 H100 芯片的數(shù)據(jù)格式)來大幅減少計算量,這可不是一件容易的事。他們得弄清楚在哪里用 FP8,在哪里用其他格式,還得保證它們之間的轉(zhuǎn)換天衣無縫。除了這些,他們還得解決一系列頭疼問題,比如應該使用什么網(wǎng)絡協(xié)議、怎么優(yōu)化編譯器、怎么處理圖形處理單元故障等等。實際上,圖形處理單元出故障的頻率高得嚇人。要是一個圖形處理單元出現(xiàn)故障,能不能熱插拔呢?我們還在努力解決這個問題。想想看:要是在一個擁有上千個圖形處理單元的集群里,就因為一個圖形處理單元壞了而讓你的訓練停了一個小時,那要是能熱插拔,你每天就能省下一個小時!這些時間可以積少成多。
還有一個相關(guān)的話題就是彈性訓練。假設你有一個由 2000 個 H100 芯片組成的集群,而你只需要 500 個來執(zhí)行某個任務,那你能不能在檢查點之間把它們移走,然后再加回來呢?這些任務可不是人工智能研究人員該干的,他們更多屬于網(wǎng)絡工程師的工作。
如果把大語言模型的開發(fā)比作火箭科學的話,那就像沒有工程師,火箭就永遠飛不起來一樣。SpaceX 的成功可不僅僅是因為它有大量研究人員,還因為它做了大量超級復雜的工程工作。同樣地,我們的基礎設施團隊就是我們的“工程師”,他們的工作讓我們的大語言模型能夠順利起飛!
問:美國限制向中國出口先進的半導體技術(shù),包括英偉達的先進芯片。零一萬物是如何應對的?
李開復:我曾公開說過,我們的芯片庫存足夠維持 18 個月。這些基本上是在限制措施出臺前我們獲得的芯片。我們肯定在努力研究如何使用中國芯片。但這并不容易,絕不好玩。對它們進行編程不是我們所熟悉的領(lǐng)域。但如果我們必須要這么做,我們也不會退縮。
英偉達有著非常出色的芯片,但有人可能會說,更簡單的芯片可以以更低的成本完成這項工作。但英偉達實力背后的一個主要因素是圍繞其 CUDA 軟件庫的整個生態(tài)系統(tǒng),它使得編程變得更簡單。如果你強迫工程師們使用非英偉達的芯片,他們可能會反對,因為這類芯片的效率要低得多。但我們目前面臨的困境要到 18 個月后才會顯現(xiàn),而我們必須更早開始行動。如果我們無法獲得英偉達的芯片,我們將尋找更簡單的芯片,更專注于轉(zhuǎn)換器,但它們將是一個痛苦的編程過程。可是,如果我們別無選擇,那就只能這么做。
但大家都知道,中國工程師有能力、有意愿,而且在處理這種被認為是艱苦的工程挑戰(zhàn)方面表現(xiàn)出色。這與我之前所說的基礎設施團隊的工作類似。學習用非常少的庫來編寫新的非標準 GPU 也是一項繁重的工作。
中國企業(yè)家是頑強的。中國工程師很勤勞。他們不怕繁重的工作。這正是美團提供卓越服務的原因,也是微信成為卓越產(chǎn)品的原因。的確,我們前面有許多困難的挑戰(zhàn),你可以說它們是浪費時間和很多人的精力。但這是我們手中的牌,所以我們會盡我們最大的努力打好這些牌。