飛象原創(chuàng)（魏德齡/文）“有時候，我感覺我們在打造一件工具，像古代的人塑造石器或木質(zhì)工具一樣。有時候，我感覺我們在建造一艘遠洋輪船，幫助人們發(fā)現(xiàn)大洋彼岸的新大陸�！边@段來自MindSpore高級工程師Loannis Lamprou的開場白感性地訴說了昇思的價值。
業(yè)界經(jīng)常把人工智能比喻為一塊人類正在開拓的全新大陸，其中蘊藏的巨大智算價值，有待通過高效的工具來予以挖掘利用，大陸上的算力又如同新一輪的全球物種交換，能夠為幾乎所有行業(yè)帶來升級。
而從剛剛落幕的昇思人工智能框架峰會上眾多嘉賓學(xué)者的口中不難發(fā)現(xiàn)，昇思正在成為開拓AI新大陸的破浪者，幫助行業(yè)用戶挖掘最大算力價值的工具利器。
釋潛能，靠框架
“如何把幾千萬人民幣的資源發(fā)揮到極致，依靠的就是AI大模型訓(xùn)練框架�！敝亲VAI CEO張鵬在現(xiàn)場分享2024年的感受時談到，怎樣把資源利用好的關(guān)鍵其實在于框架的不斷改進。
對此，中國移動研究院AI中心技術(shù)負責(zé)人王斌在業(yè)界大咖討論環(huán)節(jié)給出了下面一組關(guān)于昇思在實踐落地中的實踐結(jié)果數(shù)字。在中國移動哈爾濱的全球運營商最大單體智算中心的項目中，移動需要思考選擇什么樣的框架，才能駕馭好如此規(guī)模的計算裝置，從而發(fā)揮出最高性能。
經(jīng)過對比，昇思和NPU實現(xiàn)了更好的軟硬件協(xié)同，在同等集群和同等模型、同等超常配置下，昇思性能比Pytorch高15%左右。中國移動基于昇思框架，在千億參數(shù)模型訓(xùn)練上，最長實現(xiàn)了22天的穩(wěn)態(tài)訓(xùn)練。在集群性能中，通過選擇昇思+NPU，采用多維并行策略下，整個集群線性度達到98%，達到業(yè)界領(lǐng)先水平。
在中國電信的TeleChat2系列模型項目中，電信與昇思通過通力合作，同樣克服了如算子適配、性能優(yōu)化、精度對齊等諸多困難�！盁o論是從我們角度上的模型訓(xùn)練效果，還是昇思角度上的集群訓(xùn)練效率，都達到了很好的共贏結(jié)果�！敝袊娦湃斯ぶ悄苎芯吭焊呒壦惴ǹ偙O(jiān)宋雙永表示。
“在AI技術(shù)體系中，AI框架處于‘承上啟下’的位置，南向使能多樣化算力，北向孵化各類算法模型，是人工智能應(yīng)用創(chuàng)新的土壤和源泉�！敝袊斯ぶ悄軐W(xué)會副理事長、中國工程院何友院士在大會演講中講解了AI框架的作用，并且表示昇思作為自主創(chuàng)新的AI框架，過去4年開源社區(qū)影響力快速提升，已躋身全球主流AI框架第一梯隊。
經(jīng)歷5年發(fā)展，昇騰硬件伙伴從5家發(fā)展到60多家，伙伴基于昇騰開發(fā)的硬件產(chǎn)品已經(jīng)近千款。軟件伙伴也從100多家發(fā)展到2000多家，聯(lián)合開發(fā)的解決方案接近4000多個，廣泛應(yīng)用于互聯(lián)網(wǎng)、金融、政府、電信、能源、交通、公共事業(yè)等行業(yè)核心業(yè)務(wù)場景。
本次大會的成果發(fā)布環(huán)節(jié)中，昇思攜手18家生態(tài)伙伴重磅發(fā)布基于昇思AI框架的大模型原生開發(fā)成果，面向金融、工業(yè)、互聯(lián)網(wǎng)、電信、能源、交通等重點行業(yè)推出豐富的AI應(yīng)用，加速千行萬業(yè)數(shù)智化升級。
面對大模型技術(shù)的跨越式演進，昇思也正在持續(xù)探索AI框架的未來和無限可能。
用昇思，能深思
隨著以O(shè)penAI發(fā)布的o1出現(xiàn)，計算過程正在從單任務(wù)、單模型走向多任務(wù)、多模型。深度學(xué)習(xí)和強化學(xué)習(xí)相融合的方式，讓框架需要解決在多模型協(xié)同交互下的復(fù)雜編程問題，推理和強化學(xué)習(xí)任務(wù)的混合部署和調(diào)度問題，訓(xùn)推權(quán)重的在線轉(zhuǎn)換與并行策略的動態(tài)調(diào)整問題。
另外，大模型的參數(shù)量、序列長度和模態(tài)結(jié)構(gòu)繼續(xù)以指數(shù)級速度演進。對此框架要解決的問題是異構(gòu)模型帶來的計算不均衡問題，超長序列帶來的內(nèi)存爆炸問題和模型并行出現(xiàn)的流水線空跑問題。
“昇思在設(shè)計之初就構(gòu)筑了框架原生分布式并行能力，最大化實現(xiàn)算法泛化性，以應(yīng)對快速迭代的模型技術(shù)�！比A為ICT戰(zhàn)略與業(yè)務(wù)發(fā)展部總裁彭紅華表示，昇思持續(xù)探索前沿分布式技術(shù)，以更高效的AI框架加速模型創(chuàng)新。
對此，昇思圍繞開發(fā)者編程體驗、大模型訓(xùn)練及AI框架基礎(chǔ)能力，持續(xù)升級框架架構(gòu)：
首先在開發(fā)者編程體驗方面，昇思兼容業(yè)界主流生態(tài)，提供一致開發(fā)體驗，持續(xù)降低遷移學(xué)習(xí)成本。
其次在大模型訓(xùn)練方面，昇思提供更豐富的分布式并行策略，結(jié)合自動搜索仿真調(diào)優(yōu)，為大模型訓(xùn)練節(jié)約端到端成本。
最后，面向最新類o1模型帶來的技術(shù)挑戰(zhàn)，完善多模型多任務(wù)調(diào)度、訓(xùn)推無縫轉(zhuǎn)換能力，強化學(xué)習(xí)親和架構(gòu)，加速類o1模型演進升級；面向AI4S場景，昇思持續(xù)升級底層函數(shù)式編程體驗，并打造高性能AI4S使能套件，聯(lián)合行業(yè)用戶、科研機構(gòu)、學(xué)術(shù)專家共同加速科研創(chuàng)新，推動科技進步。
“今天我可以很自豪地說，昇思MindSpore已經(jīng)成為大模型時代AI框架的新選擇！用昇思，更能深思。”昇思MindSpore開源社區(qū)理事長丁誠的這句話，后者可謂表達了在AI深度思考能力上的持續(xù)創(chuàng)新，前者則無疑體現(xiàn)了如今火熱的社區(qū)人氣。
集眾智，匯眾力
“我們始終堅信每一個個體之力如同滄海一粟，唯有集眾智、匯眾力，才能將昇思推向未來的新高度�！倍≌\專門在演講最后強調(diào)了共促框架生態(tài)繁榮的意義。
昇思賦能開發(fā)者激發(fā)學(xué)術(shù)與技術(shù)創(chuàng)新，開放治理，共建開源框架繁榮生態(tài)。昇思社區(qū)專門面向?qū)W習(xí)階段的開發(fā)者，提供30多個主題課程，600多場線上線下的專題活動，幫助每一個開發(fā)者掌握AI技術(shù)知識。在實踐階段，社區(qū)已經(jīng)發(fā)布了1100多個實習(xí)任務(wù)，舉辦30多場大賽，幫助開發(fā)者在實踐中成長開發(fā)技能。在充分掌握AI技能以后，社區(qū)將提供專項學(xué)術(shù)論文專項基金，以社區(qū)項目制支持的方式，讓開發(fā)者更好地獲得創(chuàng)新資源和成果激勵。
開源四年以來，昇思MindSpore在社區(qū)活躍度方面整體取得了近百倍的增長。社區(qū)貢獻者從200增長到了3.7萬，累積代碼提交突破10萬，下載量從10萬增長到1100萬，這些用戶來自全球130多個國家和地區(qū)，遍布2400多座城市。昇思還與200多個科研團隊在各AI領(lǐng)域進行深入合作，累計發(fā)表頂會論文1700多篇，位居中國第一，全球第二。
在社區(qū)力量的支持下，昇思聯(lián)合各界和累積原生適配了50多個大模型，并且通過套件的能力封裝，可以實現(xiàn)開發(fā)、訓(xùn)練、微調(diào)、部署的全流程開箱即用。同時有1700多名社區(qū)伙伴采用昇思框架，累積孵化了超過2000個解決方案，在互聯(lián)網(wǎng)、金融、能源、交通等關(guān)鍵行業(yè)獲得廣泛應(yīng)用。
中國科學(xué)院科技戰(zhàn)略咨詢研究院預(yù)測，中國AI框架2024年新增市場昇思份額將達30%。這標(biāo)志著昇思MindSpore成為大模型時代AI框架的新選擇，作為中國乃至世界的框架“新勢力”，引領(lǐng)技術(shù)創(chuàng)新，加速全面智能化時代到來。
彭紅華在致辭中表示，華為一直堅持打造開放的計算產(chǎn)業(yè)生態(tài)，堅持根技術(shù)創(chuàng)新，與產(chǎn)業(yè)界共同打造堅實的、可持續(xù)的計算產(chǎn)業(yè)生態(tài)。人工智能框架是AI時代的操作系統(tǒng)與軟件底座，領(lǐng)先的AI框架需要同時具備“更高效、更敏捷、更開放”的技術(shù)與生態(tài)能力，未來，華為將持續(xù)投入昇思MindSpore，堅持以開源的方式，向業(yè)界開放技術(shù)創(chuàng)新成果，攜手產(chǎn)業(yè)界客戶、伙伴和廣大開發(fā)者共促中國人工智能框架生態(tài)健康、高速發(fā)展。
正如古人用石器開辟文明，航海家乘風(fēng)破浪發(fā)現(xiàn)新大陸，昇思作為時代的“遠洋輪船”，正在將AI技術(shù)帶向廣闊的新世界。這是AI框架的挖掘算力潛能的力量，也是不斷向前的探索精神與眾智聚力所形成的時代合力�？蚣堋靶聞萘Α睍N思正與全球開發(fā)者、科研機構(gòu)、行業(yè)伙伴一道，開拓更深遠的科技大陸，共享AI的無限可能。
