首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

騰訊發(fā)布星脈網(wǎng)絡(luò)2.0:大模型訓(xùn)練效率相比上代提升20%

2024年7月2日 14:46  IT之家  作 者:沛霖

騰訊昨日發(fā)布其自研星脈網(wǎng)絡(luò) 2.0 版本,升級后的星脈網(wǎng)絡(luò)支持單集群 10 萬卡組網(wǎng),網(wǎng)絡(luò)通信效率比上一代提升 60%,大模型訓(xùn)練效率提升 20%,故障定位從天級降低至分鐘級。

騰訊自研交換機從 25.6T 升級到 51.2T,容量提升一倍;自研硅光模塊從 200G 升級到 400G,速率提升一倍;搭載自研算力網(wǎng)卡;整機通信帶寬 3.2T,為業(yè)界最高。

騰訊自研全新通信協(xié)議 TiTa2.0 的部署位置從交換機轉(zhuǎn)移到了網(wǎng)卡上,擁塞算法也從被動擁塞算法升級為主動擁塞控制算法,將星脈網(wǎng)絡(luò)的通信效率提升 30%,讓大模型的訓(xùn)練效率提升 10%。

騰訊全新高性能集合通信庫 TCCL2.0 采用 NVLINK+NET 異構(gòu)并行通信,實現(xiàn)數(shù)據(jù)的并行傳輸。Auto-Tune Network Expert 自適應(yīng)算法可以根據(jù)機型、網(wǎng)絡(luò)規(guī)模、模型算法等差異,自動調(diào)整數(shù)據(jù)包分割大小、匹配算法等參數(shù)。星脈網(wǎng)絡(luò)通信性能提升 30%,讓大模型的訓(xùn)練效率再提升 10%。

TiTa 與 TCCL 升級帶來的效果疊加,讓星脈網(wǎng)絡(luò)的通信效率共提升 60%,大模型訓(xùn)練效率共提升 20%。

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
鄔賀銓:大模型下沉到手機 將激活萬億元規(guī)模手機產(chǎn)業(yè)
精彩專題
CES 2024國際消費電子展
2023年信息通信產(chǎn)業(yè)盤點暨頒獎禮
飛象網(wǎng)2023年手機評選
第24屆中國國際光電博覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像