MediaTek宣布與阿里云達成深度合作,將通義千問大模型小尺寸版本成功部署到了端側(cè),目前天璣9300移動平臺、天璣8300移動平臺已經(jīng)完成適配。
MediaTek宣布與阿里云達成深度合作,將通義千問大模型小尺寸版本成功部署到了端側(cè),目前天璣9300移動平臺、天璣8300移動平臺已經(jīng)完成適配,可以在斷網(wǎng)情況下,實現(xiàn)即時且精準的人機對話問答。未來,雙方將攜手打造生成式AI軟硬件生態(tài),適配更多參數(shù)版本的通義大模型,共同探索面向大眾的AI智能體(AI Agent)服務場景新機遇。
MediaTek 無線通信事業(yè)部副總經(jīng)理李彥輯博士表示:“阿里云的通義系列大模型是AI領域的佼佼者,我們期待通過雙方的合作可以為應用開發(fā)者和終端客戶提供更強大的硬件和軟件解決方案,同時促進生成式AI的端側(cè)部署以及AI應用、AI智能體生態(tài)的快速發(fā)展,為用戶帶來更多令人興奮的 AI產(chǎn)品體驗。”
阿里巴巴通義實驗室業(yè)務負責人徐棟表示:“端側(cè)AI是大模型應用落地的重要場景之一,但面臨軟硬件難適配、開發(fā)環(huán)境不完備等諸多挑戰(zhàn)。阿里云與MediaTek此次合作,攻克完成了大量底層適配及上層開發(fā)的系列技術及工程難題,真正把大模型‘裝進’手機芯片中,給業(yè)界成功打樣端側(cè)AI的Model-on-Chip部署新模式;诖耍覀兿嘈盼磥黹_發(fā)者會創(chuàng)造出更多新奇、實用的AI應用。”
打樣生成式AI端側(cè)部署,軟硬一體聯(lián)合優(yōu)化提升效率
相較于僅在云端部署生成式AI的應用和服務, 端云混合AI可充分利用終端設備的算力,在運營成本、用戶信息安全、實時性以及個性化用戶體驗等方面具備顯著優(yōu)勢。基于對行業(yè)趨勢的一致洞察,MediaTek與阿里云通義實驗室開展深度合作,對在天璣移動平臺終端設備上運行的通義大模型進行適配和優(yōu)化,賦能終端設備提供更安全、快速、可靠和差異化的使用體驗。
天璣 9300集成MediaTek第七代AI處理器APU 790,APU 790內(nèi)置硬件級的生成式 AI 引擎,支持終端運行 10 億、70 億、130 億、最高可達 330 億參數(shù)的 AI 大語言模型,并支持生成式 AI 模型端側(cè)“技能擴充”技術 NeuroPilot Fusion,生成式 AI 處理速度是上一代 AI 處理器的 8 倍,1 秒內(nèi)可生成圖片。此外,MediaTek 的AI開發(fā)平臺NeuroPilot構(gòu)建了豐富的 AI 生態(tài),已適配全球主流的AI大模型,完整的工具鏈包含對NeuroPilot Fusion和 LoRA (低秩自適應)融合技術的支持,結(jié)合MediaTek AI系統(tǒng)的強勁算力,助力開發(fā)者能更快地完成模型的優(yōu)化和轉(zhuǎn)化,顯著提升大模型的端側(cè)處理效率,并賦予其更加全面的能力。
通義千問是阿里云自研的LLM基座大模型,目前已推出千億參數(shù)的2.0版本以及開源的720億、140億、70億、40億、18億、5億參數(shù)等尺寸,以及視覺理解模型Qwen-VL、音頻大模型Qwen-Audio等多模態(tài)大模型。通義千問Qwen系列是中國市場率先開源的自研大模型,曾在10多個行業(yè)基準評測創(chuàng)下開源模型突出成績,并登頂全球高影響力的Hugging Face排行榜。目前,通義大模型家族已形成基礎大模型及系列行業(yè)模型的矩陣,并首批通過國家大模型標準評測,在行業(yè)專業(yè)AI大模型報告的全部11項測試中,獲得6項滿分,名列前茅。
MediaTek與阿里云長期保持緊密的合作伙伴關系,雙方已完成通義千問大模型小尺寸版本在天璣移動平臺的端側(cè)適配,即將透過開發(fā)者生態(tài)推動該成果廣泛普及于端側(cè)AI應用中。此外,MediaTek面向開發(fā)者的模型中心和工具鏈將集成通義千問大模型系列,助力廣大開發(fā)者可以更便捷地在天璣移動平臺上開發(fā)基于通義大模型的各類場景應用。
MediaTek攜手阿里云通義千問大模型,率先開拓AI 智能體端側(cè)應用新機遇
AI智能體是生成式大模型最激動人心的發(fā)展主線,被稱為“大模型的下一站”;趯π聶C遇的一致理解,雙方還宣布啟動聯(lián)合探索AI智能體解決方案計劃,通過整合MediaTek天璣移動平臺強大的硬件和AI運算能力,以及阿里云通義千問先進的大模型技術和日益完善的開發(fā)工具平臺,從而支持智能終端在端側(cè)高能效地實現(xiàn)自然語言理解、復雜決策制定以及個性化服務生成,探索打造真正具備情境感知、自主學習和實時交互功能的下一代智能終端應用生態(tài)。
未來,通過MediaTek和阿里云的共同努力,用戶在家“動動嘴”說出需求,由天璣移動平臺和通義大模型驅(qū)動的AI 智能體就能自動建立并最終達成任務,將智能化的夢想照進現(xiàn)實。同時,廣大開發(fā)者和終端設備廠商也將由此迎來更廣闊的創(chuàng)新機遇。
在生成式AI浪潮下,大模型正成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。MediaTek將持續(xù)攜手阿里云通義實驗室,加速終端側(cè)生成式AI的部署,聯(lián)合培育生成式AI的應用場景和生態(tài),并共同打造面向未來的AI智能體產(chǎn)品體驗,更好地支持千行百業(yè)落地AI應用,讓科技惠及大眾生活。