11月6日，零一萬(wàn)物創(chuàng)始人及CEO李開(kāi)復(fù)帶隊(duì)創(chuàng)辦的AI 2.0公司零一萬(wàn)物，正式發(fā)布首款開(kāi)源預(yù)訓(xùn)練大模型 Yi-34B。
截至目前，國(guó)內(nèi)外大模型開(kāi)源平臺(tái)此起彼伏，如Meta大型語(yǔ)言模型LLama 2，阿里云Qwen-7B、Qwen-14B，百川智能Baichuan2-7B、Baichuan2-13B等。
對(duì)于大模型開(kāi)源平臺(tái)之間的同質(zhì)化競(jìng)爭(zhēng)問(wèn)題，李開(kāi)復(fù)對(duì)第一財(cái)經(jīng)記者表示，有競(jìng)爭(zhēng)才會(huì)有進(jìn)步，如Hugging Face這樣的開(kāi)源社區(qū)，作為獨(dú)立第三方進(jìn)行測(cè)試，其測(cè)試結(jié)果會(huì)讓外界產(chǎn)生自然的關(guān)注。但如果只是千家、萬(wàn)家公司每家都做一個(gè)沒(méi)什么價(jià)值的開(kāi)源模型，那這個(gè)社區(qū)就亂了。
通過(guò)競(jìng)爭(zhēng)可以進(jìn)行開(kāi)放式的、公平的對(duì)比，讓行業(yè)知道哪些開(kāi)源模型是最好的。因此，李開(kāi)復(fù)認(rèn)為開(kāi)源模型的發(fā)布就是一個(gè)驗(yàn)證開(kāi)源社區(qū)與開(kāi)源方法論的嘗試。
Hugging Face作為AI領(lǐng)域的Github，提供大量開(kāi)源模型與工具。根據(jù) Hugging Face 英文開(kāi)源社區(qū)平臺(tái)和C-Eval 中文評(píng)測(cè)的最新榜單，Yi-34B預(yù)訓(xùn)練模型取得多項(xiàng)SOTA國(guó)際最佳性能指標(biāo)認(rèn)可。
此次零一萬(wàn)物開(kāi)源發(fā)布的Yi系列模型，包含34B和6B兩個(gè)版本。其中開(kāi)源的Yi-34B模型將發(fā)布全球最長(zhǎng)、可支持200K 超長(zhǎng)上下文窗口（context window）版本，可以處理約40萬(wàn)漢字超長(zhǎng)文本輸入。此前OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬(wàn)字。今年3月，硅谷 AI 2.0 創(chuàng)業(yè)公司Anthropic的Claude2-100K 將上下文窗口擴(kuò)展到了100K規(guī)模。
對(duì)于優(yōu)先選擇34B訓(xùn)練及開(kāi)源的原因，李開(kāi)復(fù)表示，34B是一個(gè)黃金尺寸，雖然6B也可以做出在部分垂直領(lǐng)域應(yīng)用的模型，但模型越大越好，當(dāng)然也伴隨著推理成本與訓(xùn)練成本增加所帶來(lái)的GPU資源耗費(fèi)。而34B作為一個(gè)黃金尺寸，不會(huì)小到?jīng)]有涌現(xiàn)或涌現(xiàn)不夠，又不會(huì)過(guò)大，允許高效率的單卡推理，且該類推理并不需要H或A級(jí)別顯卡，甚至RTX4090或3090便足夠。既滿足精度要求，實(shí)現(xiàn)訓(xùn)練成本友好，又能達(dá)到涌現(xiàn)門(mén)檻，屬于非常多商業(yè)應(yīng)用均適配的程度。
對(duì)于大模型的具體落地商業(yè)化方向，李開(kāi)復(fù)明確其為T(mén)o C領(lǐng)域，他認(rèn)為AI2.0時(shí)代最大的商機(jī)是創(chuàng)造超級(jí)應(yīng)用 Super APP。李開(kāi)復(fù)將超級(jí)應(yīng)用定位為大部分人需要花大部分時(shí)間、每天必須用它才能得到價(jià)值體現(xiàn)或?qū)W到新技術(shù)的產(chǎn)品。同時(shí)如果將該應(yīng)用內(nèi)的大模型拿掉了，整個(gè)應(yīng)用就不成立。
例如李開(kāi)復(fù)雖然認(rèn)為微軟Copilot是很有價(jià)值的產(chǎn)品，但未來(lái)消費(fèi)者所使用的office，一定不是在今天的office基礎(chǔ)上去堆積功能，而是一個(gè)從零做起的東西。也就是說(shuō)內(nèi)容的創(chuàng)造不是由人來(lái)創(chuàng)造，再由AI來(lái)幫一點(diǎn)小忙，而應(yīng)主要是由AI來(lái)創(chuàng)造，人來(lái)幫忙，這才是王道。
當(dāng)然，李開(kāi)復(fù)補(bǔ)充稱，零一現(xiàn)階段不可能自己便將所有的超級(jí)應(yīng)用都做了，因?yàn)閼?yīng)用一定是一個(gè)簡(jiǎn)單的開(kāi)始，再通過(guò)精益創(chuàng)業(yè)的方法不斷迭代，就像抖音和微信的第一個(gè)版本并不是超級(jí)應(yīng)用，而是捕捉到用戶的需求，同時(shí)通過(guò)新平臺(tái)的技術(shù)精髓來(lái)做一個(gè)大家都喜歡的簡(jiǎn)單應(yīng)用，然后不斷根據(jù)用戶反饋進(jìn)行調(diào)整，最終迭代成超級(jí)應(yīng)用，這是零一萬(wàn)物做超級(jí)應(yīng)用的方法論。
目前零一所發(fā)布版本以文字為主，但多模態(tài)仍是努力方向。李開(kāi)復(fù)表示，零一萬(wàn)物目前在多模態(tài)方面已有超過(guò)十個(gè)人的團(tuán)隊(duì)，目前美國(guó)在多模態(tài)領(lǐng)域已進(jìn)入白熱化競(jìng)爭(zhēng)狀態(tài)，如DALL-E3、GPT-4V，還有即將推出的谷歌 Gemini，都將多模態(tài)作為兩家公司最大的競(jìng)爭(zhēng)關(guān)注領(lǐng)域，零一肯定也要參與這一競(jìng)賽。
至于大模型落地應(yīng)用之后的商業(yè)化問(wèn)題，在AI1.0時(shí)代投過(guò)許多AI創(chuàng)業(yè)公司的李開(kāi)復(fù)總結(jié)認(rèn)為，AI1.0的公司所面臨的挑戰(zhàn)，一是收入沒(méi)有做好，二是收入沒(méi)做到可持續(xù)，許多AI1.0時(shí)代的收入問(wèn)題做不好的公司很早就被淘汰了。他仍舊以抖音與微信舉例稱，兩款產(chǎn)品規(guī)�；c利潤(rùn)率以及收入質(zhì)量都高于大部分做商業(yè)、做系統(tǒng)集成、做To B業(yè)務(wù)的公司，所以零一堅(jiān)定不移走消費(fèi)者端To C路徑。
目前零一萬(wàn)物團(tuán)隊(duì)成員主要來(lái)自Google、微軟、阿里巴巴、百度、字節(jié)跳動(dòng)、騰訊等國(guó)內(nèi)外企業(yè)，零一萬(wàn)物技術(shù)副總裁及AI Alignment負(fù)責(zé)人是 Google Bard/Assistant 早期核心成員，主導(dǎo)參與了從 Bert、LaMDA 到大模型在多輪對(duì)話、個(gè)人助理、AI Agent 等多個(gè)方向的研究和工程落地；首席架構(gòu)師曾在Google Brain與Jeff Dean、Samy Bengio等合作，為T(mén)ensorFlow的核心創(chuàng)始成員之一。
接下來(lái)，零一萬(wàn)物將基于Yi 基座模型，快節(jié)奏開(kāi)源發(fā)布一系列量化版本、對(duì)話模型、數(shù)學(xué)模型、代碼模型和多模態(tài)模型等，邀請(qǐng)開(kāi)發(fā)者加入，培育新型“AI-first”創(chuàng)新生態(tài)體系。
