">

首頁(yè)|必讀|視頻|專訪|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 人工智能 >> 正文

打造一個(gè)AI大模型,需要多少算力?

2023年4月3日 07:30  華爾街見聞  

在席卷全球的AI熱潮中,一個(gè)不容忽視的潛在阻力是算力的不足。算力是AI發(fā)展的基礎(chǔ)設(shè)施,AI訓(xùn)練需要將數(shù)據(jù)集進(jìn)行重復(fù)多輪處理,算力的大小代表著對(duì)數(shù)據(jù)處理能力的強(qiáng)弱。

據(jù)OpenAI測(cè)算,2012年開始,全球AI訓(xùn)練所用的計(jì)算量呈現(xiàn)指數(shù)增長(zhǎng),平均每3.43個(gè)月便會(huì)翻一倍,目前計(jì)算量已擴(kuò)大30萬(wàn)倍,遠(yuǎn)超算力增長(zhǎng)速度。隨著百度、360、華為等公司紛紛入局AI領(lǐng)域,國(guó)內(nèi)廠商對(duì)算力的需求將迎來(lái)井噴。

綜合OpenAI的研究經(jīng)驗(yàn),以及中國(guó)企業(yè)大模型的研發(fā)進(jìn)度等因素,廣發(fā)證券分析師劉雪峰等對(duì)國(guó)內(nèi)AI大模型的訓(xùn)練和推理階段算力需求,以及相應(yīng)的成本進(jìn)行了測(cè)算。

算力需求

首先,分析師根據(jù)GPT-3的數(shù)據(jù)測(cè)算了國(guó)內(nèi)AI大模型訓(xùn)練和推理所需的AI服務(wù)器需求。

分析師認(rèn)為:

根據(jù)商湯招股說(shuō)明書的數(shù)據(jù),GPT-3的大模型的所需要訓(xùn)練355個(gè)GPU-年。在當(dāng)前各家公司推出AI大模型意愿較強(qiáng)的背景下,我們認(rèn)為科技公司用于訓(xùn)練AI大模型的時(shí)間為1個(gè)月,因此其需要訓(xùn)練AI大模型的AI加速卡的數(shù)量為4260個(gè)。

我們認(rèn)為,AI大模型有望成為各科技廠商競(jìng)爭(zhēng)的關(guān)鍵領(lǐng)域,因此假設(shè)國(guó)內(nèi)有意愿開發(fā)AI大模型的公司有10個(gè),則由于AI大模型訓(xùn)練而新增的AI加速卡需求空間為4.3萬(wàn)個(gè),國(guó)內(nèi)由于AI大模型訓(xùn)練而新增的AI服務(wù)器的需求空間約為5325臺(tái)(本文均假設(shè)單臺(tái)AI服務(wù)器搭載8個(gè)AI加速卡)。

根據(jù)英偉達(dá)官網(wǎng)的數(shù)據(jù),A100針對(duì)于BERT類的AI大模型可實(shí)現(xiàn)每秒推理1757次,因此可假設(shè)單片A100用于AI大模型每秒生成1757個(gè)單詞,與單次客戶需要生成的內(nèi)容數(shù)量相當(dāng)。

截止2023年3月27日,百度“文心一言”已收到12萬(wàn)家企業(yè)申請(qǐng)測(cè)試。我們預(yù)計(jì),國(guó)產(chǎn)“類ChatGPT”的訪客量規(guī)模較為龐大。

2023年3月29日,在“2023數(shù)字安全與發(fā)展高峰論壇”上,三六零公司現(xiàn)場(chǎng)演示了360大語(yǔ)言模型在360瀏覽器上的應(yīng)用。分析師認(rèn)為,內(nèi)容生成類應(yīng)用已成為各科技廠商開發(fā)AI大模型積極探索的方向,因此假設(shè)國(guó)內(nèi)未來(lái)開發(fā)并應(yīng)用“類ChatGPT”AI大模型的數(shù)量為10個(gè)。針對(duì)不同情境分析師進(jìn)行了以下假設(shè):

國(guó)產(chǎn)“類ChatGPT”的定位是僅給注冊(cè)企業(yè)內(nèi)部使用,則假設(shè)每天訪問量為5000萬(wàn)人次,每人與ChatGPT對(duì)話5次,由此測(cè)算下來(lái),由于AI大模型推理而新增的AI加速卡需求空間為4.3萬(wàn)個(gè),新增的AI服務(wù)器需求空間為5425臺(tái)。

國(guó)產(chǎn)“類ChatGPT”的定位是面向個(gè)人用戶開放使用,則分別假設(shè)每天訪問量為1億或3億人次,每人與ChatGPT對(duì)話5次,由此測(cè)算下來(lái),由于AI大模型推理而新增的AI加速卡需求空間為8.7萬(wàn)或26.0萬(wàn)個(gè),新增的AI服務(wù)器需求空間為1.1萬(wàn)或3.3萬(wàn)臺(tái)。

因此,樂觀假設(shè)下,國(guó)內(nèi)AI大模型在訓(xùn)練與推理階段或?qū)a(chǎn)生相當(dāng)于1.1萬(wàn)臺(tái)或3.8萬(wàn)臺(tái)高端AI服務(wù)器的算力需求。

成本測(cè)算

此外,分析師強(qiáng)調(diào),多模態(tài)大模型是AI大模型的發(fā)展方向,應(yīng)用前景廣闊。今年以來(lái),全球多家科技廠商陸續(xù)發(fā)布多模態(tài)大模型,如谷歌的PaLM-E大模型、OpenAI的GPT-4大模型以及百度的“文心一言”大模型。

相較于自然語(yǔ)言類模型,多模態(tài)模型在訓(xùn)練階段融合了文字、圖像、三維物體等多維度數(shù)據(jù)的訓(xùn)練,可交互的信息類型較多,通用性得到了大大增強(qiáng)。分析師參考OpenAI和百度的AI大模型的收費(fèi)標(biāo)準(zhǔn)后,對(duì)各行業(yè)用戶用于生成類任務(wù)的成本進(jìn)行了以下假設(shè):

生成文本的價(jià)格為0.003美元/1000tokens,相當(dāng)于0.02元人民幣/1000tokens(參考匯率:1美元=6.88元人民幣)。Tokens是包括了單詞、標(biāo)點(diǎn)符號(hào)在內(nèi)的字符,因此可以簡(jiǎn)單理解為單個(gè)文字。

生成圖片的價(jià)格為0.02美元/張,相當(dāng)于0.15元人民幣/張。

多模態(tài)大模型API開放后,各行業(yè)用戶用于內(nèi)容生成類任務(wù)的使用成本敏感性分析:基于以上假設(shè)條件,我們對(duì)各行業(yè)用戶調(diào)用多模態(tài)大模型的API用于內(nèi)容生成任務(wù)的成本做關(guān)于文本生成量和圖片生成量的敏感性分析。

我們預(yù)計(jì)中短期內(nèi),基于多模態(tài)大模型的單日調(diào)用量的范圍預(yù)計(jì)在5000萬(wàn)人次到3億人次之間。假設(shè)每天每人生成文本內(nèi)容5次,每次生成文本內(nèi)容為1000個(gè)tokens,則生成文本數(shù)量的范圍預(yù)計(jì)在2.5千億到15千億個(gè)tokens之間。

假設(shè)每天每人生成圖片5張,則生成圖片的數(shù)量范圍預(yù)計(jì)在2.5億張-15億張。由此,我們測(cè)算出,各行業(yè)用戶調(diào)用多模態(tài)大模型的API用于內(nèi)容生成任務(wù)的成本如下表所示。

分析師也強(qiáng)調(diào),AI大模型技術(shù)仍處于發(fā)展早期,技術(shù)迭代的節(jié)奏和方向處于快速變化中,在AI算力需求測(cè)算中,也需考慮由于算法優(yōu)化導(dǎo)致AI模型消耗算力成本降低的因素?紤]到軟件優(yōu)化帶來(lái)的降本提效因素,實(shí)際硬件需求和算力成本可能較此前測(cè)算的數(shù)值較低一些。

綜上,分析師指出,在暫不考慮軟件層面算法優(yōu)化帶來(lái)的模型消耗算力成本下降的前提下,國(guó)內(nèi)大模型在訓(xùn)練與推理階段或?qū)a(chǎn)生相當(dāng)于1.1萬(wàn)臺(tái)或3.8萬(wàn)臺(tái)(樂觀假設(shè)下)高端AI服務(wù)器的算力需求,以單片A100售價(jià)10萬(wàn)元人民幣、AI加速卡價(jià)值量占服務(wù)器整機(jī)約70%計(jì)算,則對(duì)應(yīng)約126億元(人民幣)或434億元增量AI服務(wù)器市場(chǎng)規(guī)模。

分析師預(yù)計(jì),前述AI服務(wù)器的增量需求或?qū)⒃?-3年的維度內(nèi)逐步落地。

編 輯:高靖宇
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張?jiān)泼鳎捍蟛糠謬?guó)家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動(dòng) 共筑信息保障堤壩
2023MWC上海世界移動(dòng)通信大會(huì)
中國(guó)5G商用四周年
2023年中國(guó)國(guó)際信息通信展覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像