ChatGPT問世半年多來,全球科技公司爭相開發(fā)大模型,大模型走向開源的趨勢幾乎成為定局。而隨著越來越多的大模型被開源,也將對目前處于行業(yè)領(lǐng)先地位的OpenAI形成壓力。
此前,大模型的“主導(dǎo)權(quán)”集中在幾家大型科技公司手中,開源社區(qū)為此在過去的幾個(gè)月里強(qiáng)勢反擊,包括Meta的Llama2在內(nèi)的項(xiàng)目試圖挑戰(zhàn)大型科技公司已經(jīng)建立的整個(gè)商業(yè)模式。
而在國內(nèi),像阿里(94.85, 0.63, 0.67%)這樣的大公司也加入了開源大軍。上周,國內(nèi)AI開發(fā)者社區(qū)“魔搭”(ModelScope)上架阿里巴巴的兩款開源模型Qwe(0.1289, -0.08, -38.56%)n-7B和Qwen-7B-Chat,分別為阿里云通義千問的70億參數(shù)通用模型和對話模型,兩款模型均開源、免費(fèi)、可商用。
阿里云表示,開源大模型可以幫助用戶簡化模型訓(xùn)練和部署的過程,用戶不必從頭訓(xùn)練模型,只需下載預(yù)訓(xùn)練好的模型并進(jìn)行微調(diào),就可快速構(gòu)建高質(zhì)量的模型。
百川智能CEO王小川預(yù)計(jì),未來80%的企業(yè)會(huì)用到開源的大模型,因?yàn)殚]源很可能沒有辦法對產(chǎn)品做更好的適配,或者成本特別高,閉源可以給剩下的20%提供服務(wù)!岸呤窃诓煌a(chǎn)品中互補(bǔ)的關(guān)系!蓖跣〈ㄕf。
“開源軍團(tuán)”來勢洶洶
今年4月,美國軟件公司Databricks發(fā)布了開源模型Dolly 2.0,成為業(yè)內(nèi)首個(gè)開源、遵循指令的大模型,它在透明且免費(fèi)提供的數(shù)據(jù)集上進(jìn)行了微調(diào),該數(shù)據(jù)集也是開源的,可用于商業(yè)目的。
隨后,Meta公司在7月中旬發(fā)布了人工智能模型Llama 2的開源商用版本,這對于大量的開發(fā)者而言,意味著大模型應(yīng)用進(jìn)入了“免費(fèi)時(shí)代”,初創(chuàng)公司也能夠以低廉的價(jià)格來創(chuàng)建類似ChatGPT這樣的聊天機(jī)器人。
獵豹移動(dòng)(2.52, -0.11, -4.18%)創(chuàng)始人、董事長傅盛在社交媒體上隨即公開表示:“大模型不再高不可攀,平民化大模型時(shí)代已經(jīng)到來!像我們這樣的公司會(huì)笑醒在深夜!
作為聊天機(jī)器人等人工智能工具等基礎(chǔ),大模型的開源將降低企業(yè)開發(fā)各自版本的ChatGPT。Meta將Llama 2開源,意味著企業(yè)可以訪問Llama 2模型,并通過調(diào)優(yōu)來創(chuàng)建自己的類似于ChatGPT或谷歌(130.15, -1.69, -1.28%)Bard聊天機(jī)器人這樣的產(chǎn)品。
國內(nèi)方面,企業(yè)也在加速。阿里云通義千問開源,開源模型主要為Qwen-7B和Qwen-7B-Chat兩種。
其中,Qwen-7B是支持中、英等多種語言的基座模型,在超過2萬億token數(shù)據(jù)集上訓(xùn)練,上下文窗口長度達(dá)到8k。Qwen-7B-Chat是基于基座模型的中英文對話模型,已實(shí)現(xiàn)與人類認(rèn)知對齊。開源代碼支持對Qwen-7B和Qwen-7B-Chat的量化,支持用戶在消費(fèi)級顯卡上部署和運(yùn)行模型。用戶既可從魔搭社區(qū)直接下載模型,也可通過阿里云靈積平臺(tái)訪問和調(diào)用Qwen-7B和Qwen-7B-Chat,
同時(shí),阿里云透露,通義千問7B預(yù)訓(xùn)練模型在多個(gè)權(quán)威基準(zhǔn)測評中表現(xiàn)出色,在英文能力測評基準(zhǔn)MMLU上,通義千問7B模型得分超過一眾7B、12B、13B主流開源模型,該基準(zhǔn)包含57個(gè)學(xué)科的英文題目,考驗(yàn)人文、社科、理工等領(lǐng)域的綜合知識(shí)和問題解決能力。在中文常識(shí)能力測評基準(zhǔn)C-Eval上,通義千問在驗(yàn)證集和測試集中都獲得高分,在數(shù)學(xué)解題能力評測GSM8K、代碼能力評測HumanEval等基準(zhǔn)上也有不俗表現(xiàn)。
瀾舟科技創(chuàng)始人CEO周明對第一財(cái)經(jīng)記者表示:“開源、閉源之爭可能又要再度上演,Meta這些公司發(fā)布了可商用的水平也不錯(cuò)的開源模型,可能會(huì)對某些公司的閉源模型或者某些團(tuán)隊(duì)的’自研模型’產(chǎn)生很大的壓力!
在過去幾年,科技巨頭公司似乎能夠壟斷大型語言模型不斷增長的市場。它們選擇將模型閉源,筑牢自己的“護(hù)城河”,很少對外公開技術(shù)進(jìn)展。
但隨著大模型的競爭愈演愈烈,這些科技巨頭已經(jīng)顯著感受到來自開源社區(qū)的壓力。市場對于大模型的選擇正在逐漸從“越大越好”轉(zhuǎn)向“越便宜越好”、“越高效越好”以及“越可定制越好”。
一些分析師表示,開源模型可能會(huì)削弱ChatGPT的開發(fā)商OpenAI公司以及谷歌大模型當(dāng)前的市場主導(dǎo)地位,OpenAI的GPT和谷歌Bard大模型向用戶收取昂貴的費(fèi)用。
由于閉源模型只有源代碼所有者掌握代碼修改的權(quán)力,其他人無法獲取“底稿”,只能向軟件開發(fā)商購買成品。
根據(jù)Fast Company預(yù)測,OpenAI今年收入有望達(dá)到2億美元,這些收入包括向開發(fā)者提供API數(shù)據(jù)接口服務(wù)、聊天機(jī)器人訂閱服務(wù)費(fèi)等。而大模型一旦開源后,在版權(quán)限制范圍內(nèi),任何人都可以公開獲取模型源代碼,并進(jìn)行修改甚至重新開發(fā)。這意味著大模型開源后會(huì)吸引更多開發(fā)者,大模型的應(yīng)用也將更加豐富。
例如,在Llama2宣布開源不久,人工智能初創(chuàng)公司Stability AI就已火速微調(diào)出了一款叫做FreeWilly模型,并稱其性能可與ChatGPT媲美。
大模型的“護(hù)城河”在哪?
谷歌最近泄露的一份內(nèi)部文件表明,由于開源大模型的進(jìn)步,大型科技公司的市場份額并不像看起來那么穩(wěn)固。谷歌的文件稱:“我們沒有護(hù)城河,OpenAI也沒有!
隨著大模型重點(diǎn)轉(zhuǎn)向創(chuàng)建更大的模型,研究和創(chuàng)新的成本急劇上升。像GPT-3這樣的模型需要數(shù)百萬美元來訓(xùn)練和運(yùn)行。因此,大模型的工作僅限于少數(shù)有足夠經(jīng)濟(jì)實(shí)力的公司和與其相關(guān)的人工智能實(shí)驗(yàn)室。
大模型的關(guān)鍵“護(hù)城河”包括:訓(xùn)練所用的數(shù)據(jù)、模型權(quán)重以及訓(xùn)練和推理成本。大型科技公司在訓(xùn)練和推理成本方面占據(jù)優(yōu)勢,因?yàn)樗鼈兪俏ㄒ挥心芰χЦ队?xùn)練和運(yùn)營大模型基礎(chǔ)設(shè)施費(fèi)用的公司,小公司無力支付價(jià)格高昂的GPU,即便是租賃云端算力的價(jià)格也非常昂貴。
而要在數(shù)據(jù)以及模型權(quán)重方面獲得優(yōu)勢,一些科技公司選擇了閉源。OpenAI可能是最具代表性的例子。在OpenAI成立早期,它曾是一家發(fā)布所有研究成果的人工智能實(shí)驗(yàn)室,但現(xiàn)在,該公司已經(jīng)發(fā)展成為一家出售其大模型API訪問權(quán)限的初創(chuàng)公司,甚至不再發(fā)布有關(guān)其訓(xùn)練數(shù)據(jù)和模型架構(gòu)的詳細(xì)信息。
這也是馬斯克批評OpenAI“違背初心”的關(guān)鍵因素,尤其是在微軟(322.23, -3.82, -1.17%)公司向OpenAI追加數(shù)十億美元投資后,馬斯克認(rèn)為OpenAI的技術(shù)已經(jīng)完全被微軟掌控,不利于行業(yè)的共同繁榮。
隨著Meta和阿里巴巴等更多企業(yè)逐步開源大模型,未來也將倒逼更多閉源模型開源。
這些GPT大模型的開源替代品對于開發(fā)者意味著什么?一位大模型開發(fā)者告訴第一財(cái)經(jīng)記者:“首先是即便大模型參數(shù)不夠大,但如果在非常大的數(shù)據(jù)集上訓(xùn)練模型,那么在性能方面也可以與參數(shù)非常大的模型競爭;其次,是一些小型的企業(yè)可以用很少的預(yù)算和適量的數(shù)據(jù)將小模型微調(diào)到與大模型相媲美的程度!
他還表示,由于開源模型支持不同的團(tuán)隊(duì)在彼此的工作基礎(chǔ)上進(jìn)行構(gòu)建,因此開源模型的進(jìn)步速度比封閉生態(tài)系統(tǒng)快得多。
王小川則認(rèn)為,開源確實(shí)容易“建立人品”,拉來更多的朋友一起參與大模型的開發(fā)和改進(jìn),加速創(chuàng)新,用戶的使用門檻和成本也更低。同時(shí),開源也可以為商業(yè)化做準(zhǔn)備,如果大家用起來覺得不錯(cuò),當(dāng)需要更好的服務(wù)和更大的參數(shù)時(shí),可以探索進(jìn)一步的商業(yè)化路徑。
Meta AI科學(xué)家Xin Liu不久前也對媒體表示,Meta做大模型的思路和OpenAI不太一樣!癘penAI是一個(gè)比較close的模型,但我們相信開源。”他說,尤其對于那些中小企業(yè)而言,它們自己沒有足夠的能力和資本去訓(xùn)練一個(gè)大模型,但通過開源的方式,它們可以利用Llama2,結(jié)合企業(yè)自身的數(shù)據(jù)、具體的應(yīng)用場景進(jìn)行相關(guān)的優(yōu)化。
他同時(shí)認(rèn)為,現(xiàn)在大模型行業(yè)遠(yuǎn)遠(yuǎn)沒有形成被某一家壟斷或是一家獨(dú)大的局面,每個(gè)公司、每個(gè)人都有很多事情可以去做,不論是做訓(xùn)練、做本身的技術(shù)加速或是數(shù)據(jù)的處理、應(yīng)用層面等等。
外部創(chuàng)新會(huì)削弱大廠的價(jià)值
更多的開源模型能夠?yàn)橄胍谄鋺?yīng)用程序中使用大模型的企業(yè)提供替代方案,這對大型科技公司意味著什么?
谷歌備忘錄中就警告稱:“現(xiàn)在大模型的前沿研究已經(jīng)可以負(fù)擔(dān)得起,那么保持技術(shù)競爭優(yōu)勢就變得更加困難。世界各地的研究機(jī)構(gòu)都在彼此的工作基礎(chǔ)上探索解決方案,這遠(yuǎn)遠(yuǎn)超出了我們自己的能力。我們可以嘗試保守自己的秘密,但外部創(chuàng)新會(huì)削弱它們的價(jià)值!
但伴隨而來的問題是,相應(yīng)的監(jiān)管和商業(yè)化將成為難題。因此企業(yè)在選擇模型開源還是閉源的時(shí)候,要綜合考量公司商業(yè)戰(zhàn)略等多方面因素。
“我認(rèn)為大廠最終都會(huì)走向開源模型,因?yàn)橐_發(fā)者社區(qū),而且在對外形象上,如果一直不開源,會(huì)造成人才的流失。”一位人工智能領(lǐng)域頂尖專家告訴第一財(cái)經(jīng)記者。他的團(tuán)隊(duì)也正在基于Llama2進(jìn)行模型的微調(diào)工作。
他還表示,OpenAI也可以選擇一直不開源,但是前提是它的模型一定要保持絕對的技術(shù)領(lǐng)先才行。“目前來看,GPT4還是有它較為顯著的優(yōu)勢,但未來是否會(huì)被超越還很難說!彼f道。
盡管開源模型的問世無疑會(huì)打破大型科技公司對大模型的壟斷,但業(yè)內(nèi)人士認(rèn)為,開源大模型并不適合所有人,尤其是對于那些沒有內(nèi)部機(jī)器學(xué)習(xí)人才并希望通過一些API調(diào)用將大模型快速集成到其應(yīng)用程序中的公司來說,開源對它們的吸引力并不大,這也意味著基于云的大模型市場并不會(huì)消失。
周明表示,選擇開源模型可以節(jié)省大量的底座訓(xùn)練的成本。但他提醒稱,如果想用開源的話,要看看開源能不能支撐大數(shù)據(jù)、大算力的能力,或者開源能不能支持內(nèi)部的商用。
開源中國董事長馬越在今年7月在接受第一財(cái)經(jīng)記者采訪時(shí)也表示,開源可以降低AI大模型的使用門檻。美國有一家開源AI模型托管公司Huggingface,只有100多人,估值已達(dá)20億美元,它到今年6月已收錄了26萬個(gè)開源大模型,還有數(shù)據(jù)集。
“對企業(yè)來講,只有專屬數(shù)據(jù)訓(xùn)練才有價(jià)值,可以把自己的專屬數(shù)據(jù)整理好,然后用一個(gè)開源模型來訓(xùn)練,得出自己企業(yè)的AI模型。”馬越說,在此過程中,開源AI模型托管公司可以分發(fā)算力,讓企業(yè)訓(xùn)練數(shù)據(jù)的成本降低。
馬越說,現(xiàn)在國內(nèi)科技大廠之間掀起“百模大戰(zhàn)”,普通的企業(yè)很難得到算力,預(yù)計(jì)兩三年里國內(nèi)只剩下一兩家AI大模型勝出。一些地方政府有算力,希望讓更多企業(yè)享受AI模型的普惠。
“開源是一種商業(yè)模式,要的不單是流量,核心生命力在用戶反饋和傳播! 馬越說。
達(dá)觀數(shù)據(jù)董事長CEO陳運(yùn)文對第一財(cái)經(jīng)記者表示,開源大模型的生態(tài)系統(tǒng)建設(shè)仍然處于早期。生態(tài)也是目前包括谷歌和微軟在內(nèi)的科技巨頭公司的關(guān)鍵“護(hù)城河”,這些公司有著非常豐富的上下游生態(tài)和銷售渠道。
大型科技公司最近的財(cái)報(bào)電話會(huì)議表明,它們已經(jīng)能夠靠人工智能賺取豐厚利潤。微軟業(yè)績顯示,該公司已通過其人工智能服務(wù)創(chuàng)造了價(jià)值數(shù)十億美元的業(yè)務(wù),包括通過Azure OpenAI服務(wù)以及OpenAI在其云基礎(chǔ)設(shè)施上運(yùn)行的工作負(fù)載。
“我認(rèn)為開源的生態(tài)還需要時(shí)間逐步培養(yǎng),就像安卓系統(tǒng)剛出來后,需要上游手機(jī)設(shè)備廠商和下游APP開發(fā)者等生態(tài)鏈的培育,這樣才能形成競爭力和’護(hù)城河’!标愡\(yùn)文對第一財(cái)經(jīng)記者表示。