12月19日,智源研究院發(fā)布國(guó)內(nèi)外100余個(gè),開源和商業(yè)閉源的大模型綜合及專項(xiàng)評(píng)測(cè)結(jié)果!按笳Z言模型評(píng)測(cè)能力榜單”中,豆包通用模型pro(Doubao-pro-32k-preview),在主觀評(píng)測(cè)中排名第一。
智源研究院 FlagEval 大語言模型評(píng)測(cè)能力榜單-主觀評(píng)測(cè)
“多模態(tài)模型評(píng)測(cè)榜單”中,豆包·視覺理解模型(Doubao-Pro-Vision-32k-241028)。在視覺語言模型中排名第二,僅次于GPT-4o,是得分最高的國(guó)產(chǎn)大模型。
智源研究院 FlagEval 多模態(tài)模型評(píng)測(cè)榜單-視覺語言模型
“FlagEval大模型角斗場(chǎng)榜單”中,豆包通用模型pro(Doubao-pro-32k-240828)。
在大語言模型榜單中位居第一梯隊(duì),評(píng)分排名第二,僅次于OpenAI的o1-mini,是得分最高的國(guó)產(chǎn)大模型。
智源研究院 FlagEval 大模型角斗場(chǎng)榜單-大語言模型榜單
據(jù)智源研究院介紹,大模型評(píng)測(cè)平臺(tái)FlagEval目前已覆蓋全球800多個(gè)開閉源模型,在評(píng)測(cè)方法與工具上聯(lián)合了全國(guó)10余家高校和機(jī)構(gòu)合作共建。此次公布的榜單中,大語言模型主觀評(píng)測(cè)重點(diǎn)考察的是模型的中文能力,多模態(tài)模型評(píng)測(cè)榜單視覺語言模型主要考察的是模型在圖文理解、長(zhǎng)尾視覺知識(shí)、文字識(shí)別以及復(fù)雜圖文數(shù)據(jù)分析能力;FlagEval大模型角斗場(chǎng)則是向用戶開放的模型對(duì)戰(zhàn)評(píng)測(cè)服務(wù),反映了用戶對(duì)模型的偏好。
大使用量才能打磨出更好的模型。剛剛結(jié)束的2024火山引擎冬季FORCE原動(dòng)力大會(huì)公布了豆包大模型最新進(jìn)展——豆包大模型12月日均tokens使用量超過4萬億,較5月發(fā)布時(shí)期增長(zhǎng)超過33倍,在不同應(yīng)用場(chǎng)景中調(diào)用量快速增長(zhǎng)。
使用量和應(yīng)用場(chǎng)景的提升,也讓豆包大模型迎來了全新的升級(jí)。其中在“大語言模型評(píng)測(cè)能力榜單”的主觀評(píng)測(cè)中排名第一的豆包通用模型pro完成新版本迭代,綜合處理能力較5月發(fā)布時(shí)提升了32%,在推理上提升13%,在指令遵循上提升9%,在代碼上提升58%,在數(shù)學(xué)上提升43%,在專業(yè)知識(shí)領(lǐng)域能力提升54%。
在“多模態(tài)模型評(píng)測(cè)榜單”的視覺語言模型中,得分國(guó)內(nèi)最高的豆包·視覺理解模型也在FORCE原動(dòng)力大會(huì)上正式對(duì)外發(fā)布。豆包·視覺理解模型可以理解用戶所輸入的文本和圖片相關(guān)的信息,并給出準(zhǔn)確的回答。通過更強(qiáng)的內(nèi)容識(shí)別能力、更強(qiáng)的理解和推理能力、更細(xì)膩的視覺描述能力,豆包·視覺理解模型極大地拓寬了大模型場(chǎng)景邊界,基于對(duì)真實(shí)世界的信息處理,可以更好的輔助人類完成復(fù)雜的任務(wù)。
豆包·視覺理解模型在教育、旅游、電商等場(chǎng)景有著非常廣泛的應(yīng)用。為了更好地幫助企業(yè)開拓大模型的創(chuàng)新應(yīng)用場(chǎng)景,豆包·視覺理解模型的價(jià)格為每千tokens 0.003元,比行業(yè)平均價(jià)格降低85%,相當(dāng)于一塊錢可以處理284張720P圖片,讓企業(yè)和開發(fā)者用好視覺理解模型,找到更多創(chuàng)新場(chǎng)景。
從能力升級(jí)到模態(tài)豐富,火山引擎將持續(xù)拓展豆包大模型的能力邊界及應(yīng)用場(chǎng)景,加速推動(dòng)AI大模型應(yīng)用的普及與落地,為更多企業(yè)智能化升級(jí)提供有力支撐。