11月6日，零一萬物創(chuàng)始人及CEO李開復(fù)帶隊創(chuàng)辦的AI 2.0公司零一萬物，正式發(fā)布首款開源預(yù)訓(xùn)練大模型 Yi-34B。
截至目前，國內(nèi)外大模型開源平臺此起彼伏，如Meta大型語言模型LLama 2，阿里云Qwen-7B、Qwen-14B，百川智能Baichuan2-7B、Baichuan2-13B等。
對于大模型開源平臺之間的同質(zhì)化競爭問題，李開復(fù)對第一財經(jīng)記者表示，有競爭才會有進步，如Hugging Face這樣的開源社區(qū)，作為獨立第三方進行測試，其測試結(jié)果會讓外界產(chǎn)生自然的關(guān)注。但如果只是千家、萬家公司每家都做一個沒什么價值的開源模型，那這個社區(qū)就亂了。
通過競爭可以進行開放式的、公平的對比，讓行業(yè)知道哪些開源模型是最好的。因此，李開復(fù)認為開源模型的發(fā)布就是一個驗證開源社區(qū)與開源方法論的嘗試。
Hugging Face作為AI領(lǐng)域的Github，提供大量開源模型與工具。根據(jù) Hugging Face 英文開源社區(qū)平臺和C-Eval 中文評測的最新榜單，Yi-34B預(yù)訓(xùn)練模型取得多項SOTA國際最佳性能指標(biāo)認可。
此次零一萬物開源發(fā)布的Yi系列模型，包含34B和6B兩個版本。其中開源的Yi-34B模型將發(fā)布全球最長、可支持200K 超長上下文窗口（context window）版本，可以處理約40萬漢字超長文本輸入。此前OpenAI的GPT-4上下文窗口只有32K，文字處理量約2.5萬字。今年3月，硅谷 AI 2.0 創(chuàng)業(yè)公司Anthropic的Claude2-100K 將上下文窗口擴展到了100K規(guī)模。
對于優(yōu)先選擇34B訓(xùn)練及開源的原因，李開復(fù)表示，34B是一個黃金尺寸，雖然6B也可以做出在部分垂直領(lǐng)域應(yīng)用的模型，但模型越大越好，當(dāng)然也伴隨著推理成本與訓(xùn)練成本增加所帶來的GPU資源耗費。而34B作為一個黃金尺寸，不會小到?jīng)]有涌現(xiàn)或涌現(xiàn)不夠，又不會過大，允許高效率的單卡推理，且該類推理并不需要H或A級別顯卡，甚至RTX4090或3090便足夠。既滿足精度要求，實現(xiàn)訓(xùn)練成本友好，又能達到涌現(xiàn)門檻，屬于非常多商業(yè)應(yīng)用均適配的程度。
對于大模型的具體落地商業(yè)化方向，李開復(fù)明確其為To C領(lǐng)域，他認為AI2.0時代最大的商機是創(chuàng)造超級應(yīng)用 Super APP。李開復(fù)將超級應(yīng)用定位為大部分人需要花大部分時間、每天必須用它才能得到價值體現(xiàn)或?qū)W到新技術(shù)的產(chǎn)品。同時如果將該應(yīng)用內(nèi)的大模型拿掉了，整個應(yīng)用就不成立。
例如李開復(fù)雖然認為微軟Copilot是很有價值的產(chǎn)品，但未來消費者所使用的office，一定不是在今天的office基礎(chǔ)上去堆積功能，而是一個從零做起的東西。也就是說內(nèi)容的創(chuàng)造不是由人來創(chuàng)造，再由AI來幫一點小忙，而應(yīng)主要是由AI來創(chuàng)造，人來幫忙，這才是王道。
當(dāng)然，李開復(fù)補充稱，零一現(xiàn)階段不可能自己便將所有的超級應(yīng)用都做了，因為應(yīng)用一定是一個簡單的開始，再通過精益創(chuàng)業(yè)的方法不斷迭代，就像抖音和微信的第一個版本并不是超級應(yīng)用，而是捕捉到用戶的需求，同時通過新平臺的技術(shù)精髓來做一個大家都喜歡的簡單應(yīng)用，然后不斷根據(jù)用戶反饋進行調(diào)整，最終迭代成超級應(yīng)用，這是零一萬物做超級應(yīng)用的方法論。
目前零一所發(fā)布版本以文字為主，但多模態(tài)仍是努力方向。李開復(fù)表示，零一萬物目前在多模態(tài)方面已有超過十個人的團隊，目前美國在多模態(tài)領(lǐng)域已進入白熱化競爭狀態(tài)，如DALL-E3、GPT-4V，還有即將推出的谷歌 Gemini，都將多模態(tài)作為兩家公司最大的競爭關(guān)注領(lǐng)域，零一肯定也要參與這一競賽。
至于大模型落地應(yīng)用之后的商業(yè)化問題，在AI1.0時代投過許多AI創(chuàng)業(yè)公司的李開復(fù)總結(jié)認為，AI1.0的公司所面臨的挑戰(zhàn)，一是收入沒有做好，二是收入沒做到可持續(xù)，許多AI1.0時代的收入問題做不好的公司很早就被淘汰了。他仍舊以抖音與微信舉例稱，兩款產(chǎn)品規(guī)�；c利潤率以及收入質(zhì)量都高于大部分做商業(yè)、做系統(tǒng)集成、做To B業(yè)務(wù)的公司，所以零一堅定不移走消費者端To C路徑。
目前零一萬物團隊成員主要來自Google、微軟、阿里巴巴、百度、字節(jié)跳動、騰訊等國內(nèi)外企業(yè)，零一萬物技術(shù)副總裁及AI Alignment負責(zé)人是 Google Bard/Assistant 早期核心成員，主導(dǎo)參與了從 Bert、LaMDA 到大模型在多輪對話、個人助理、AI Agent 等多個方向的研究和工程落地；首席架構(gòu)師曾在Google Brain與Jeff Dean、Samy Bengio等合作，為TensorFlow的核心創(chuàng)始成員之一。
接下來，零一萬物將基于Yi 基座模型，快節(jié)奏開源發(fā)布一系列量化版本、對話模型、數(shù)學(xué)模型、代碼模型和多模態(tài)模型等，邀請開發(fā)者加入，培育新型“AI-first”創(chuàng)新生態(tài)體系。
