飛象網(wǎng)訊 (一飛/文)在“2023華為全球分析師大會(huì)”上,華為戰(zhàn)略研究院院長(zhǎng)周紅作了《建設(shè)智能世界的假設(shè)與愿景》的主題演講。他表示,邁向智能世界需要解決的兩大核心問(wèn)題是:未來(lái)通信和未來(lái)計(jì)算,并分享了一些思考。
在通信領(lǐng)域, 香農(nóng)在75年前提出了3個(gè)定理,但目前在香農(nóng)定理提出后,又有很多新的現(xiàn)象、新的工程能力和新的應(yīng)用環(huán)境出現(xiàn),這都是75年前人們不了解的、也不在假設(shè)中!耙虼宋艺J(rèn)為,在未來(lái)的通信上還有很大的發(fā)展空間,我們有可能改變香農(nóng)定理最初的假設(shè)和應(yīng)用條件,實(shí)現(xiàn)超越十年百倍的發(fā)展!敝芗t說(shuō),“通信網(wǎng)絡(luò)是建設(shè)智能世界的基礎(chǔ),我們要實(shí)現(xiàn)成百上千倍的提升,就必須敢于打破既有理論與技術(shù)瓶頸的條條框框,才能大踏步前行!
在計(jì)算領(lǐng)域。在過(guò)去的幾年中,智能應(yīng)用的迅速發(fā)展,尤其是通過(guò)AI模型優(yōu)化可能幫助解決應(yīng)用碎片化的問(wèn)題,這也引發(fā)了模型規(guī)模的爆發(fā)式增長(zhǎng)。過(guò)去十年,AI算法的算力需求提升了四十萬(wàn)倍。
周紅表示,在AI能力快速提升的情況下,需要考慮AI的目標(biāo)如何與人類一致、并且正確和高效地執(zhí)行。除了通過(guò)規(guī)則和法律來(lái)加強(qiáng)AI的倫理和治理外,從理論和技術(shù)的角度看,要達(dá)到這些要求,目前還面臨三個(gè)重要的挑戰(zhàn):AI的目標(biāo)定義、正確性與適應(yīng)性、以及效率。
AI面臨的第一個(gè)挑戰(zhàn),是缺乏共識(shí)的目標(biāo)定義。如果沒(méi)有定義清楚并達(dá)成共識(shí),就很難確保AI發(fā)展的目標(biāo)與人類一致,也很難合理地分類和科學(xué)地計(jì)算。人工智能在歷史上有不同的流派,例如符號(hào)主義、貝葉斯主義、進(jìn)化主義、行為主義,以及連接主義等,它們還沒(méi)有很好地融合起來(lái),周紅認(rèn)為缺乏共識(shí)的目標(biāo)定義是重要的原因之一。
其次,在當(dāng)前的很多AI應(yīng)用中,存在正確性和適應(yīng)性的挑戰(zhàn)。依靠大數(shù)據(jù)統(tǒng)計(jì)規(guī)律進(jìn)行的學(xué)習(xí),會(huì)依賴于采樣的覆蓋面和數(shù)據(jù)的正確性,如果錯(cuò)誤使用,就可能導(dǎo)致結(jié)果不穩(wěn)定和偏見(jiàn)的風(fēng)險(xiǎn),出現(xiàn)“黑天鵝”事件。
第三個(gè)挑戰(zhàn)是AI的效率。
首先是能效。從2022年第60屆全球超級(jí)計(jì)算機(jī)Top500中看到,排名第一的Frontier,計(jì)算性能約1102PFLOPS,能耗是2千1百萬(wàn)瓦;排名第二的Fugaku,計(jì)算性能約442PFLOPS,能耗是3千萬(wàn)瓦,而相比之下,人腦只需要約20瓦就能等效實(shí)現(xiàn)30PFLOPS的計(jì)算性能?梢(jiàn)當(dāng)前這些超級(jí)計(jì)算機(jī)單位能量的計(jì)算效率,要比人腦低大約三萬(wàn)倍到十萬(wàn)倍。除了人腦外,高效智能在動(dòng)物界普遍存在。
其次是數(shù)據(jù)效率。除了通過(guò)從大數(shù)據(jù)中得到統(tǒng)計(jì)規(guī)律,來(lái)認(rèn)識(shí)和理解世界外,能不能從小數(shù)據(jù)中進(jìn)行思考,發(fā)現(xiàn)邏輯性,形成概念,抽象出原則?
面對(duì)這三個(gè)挑戰(zhàn),如何進(jìn)一步尋求突破呢?周紅建議從實(shí)用的角度,來(lái)發(fā)展知識(shí)和智能。如何通過(guò)從外部環(huán)境和我們自身的事實(shí)和現(xiàn)象中,歸納抽象出概念和屬性、及其關(guān)系和運(yùn)行規(guī)律,來(lái)形成知識(shí)?按柏拉圖的理念,知識(shí)應(yīng)該是被驗(yàn)證過(guò)的、正確的和被人們相信的。能不能提升達(dá)成追求或者目標(biāo)的能力,來(lái)發(fā)展智能?具體來(lái)說(shuō),可以通過(guò)感知與交互、計(jì)算或者試錯(cuò),在復(fù)雜的環(huán)境和有限的資源下達(dá)成目標(biāo)。我們要通過(guò)智能來(lái)認(rèn)識(shí)環(huán)境、適應(yīng)環(huán)境,甚至改造環(huán)境以及我們自身,其正確性、適用性與高效性就很重要。從已有大數(shù)據(jù)中提取概率分布來(lái)進(jìn)行擬合和推演,是實(shí)現(xiàn)智能的一種手段,除此之外,周紅認(rèn)為智能也要考慮因果推理、給出假設(shè)和進(jìn)行試錯(cuò),提出問(wèn)題和創(chuàng)造性地解決問(wèn)題等。 近幾年學(xué)術(shù)界有很多跳出Transformer之外的新型AI架構(gòu)的思考,例如Geoffery Hinton的GLOM模型,建議通過(guò)各種學(xué)習(xí)方法,實(shí)現(xiàn)從部分到整體,類似人類的感知系統(tǒng);Yoshua Bengio建議未來(lái)的人工智能由基于直覺(jué)的System1模型和基于邏輯與歸納的System2模型組成;Yan LuCun建議以自監(jiān)督的方式來(lái)學(xué)習(xí)世界模型,然后利用這些模型進(jìn)行預(yù)測(cè)、推理和規(guī)劃;Richard Sutton提出基于經(jīng)驗(yàn)的AI,通過(guò)與環(huán)境的交互而獲取經(jīng)驗(yàn),構(gòu)建AI的目標(biāo)和整個(gè)世界的狀態(tài),使得智能體可以學(xué)會(huì)與環(huán)境溝通、合作和競(jìng)爭(zhēng)。
哈佛大學(xué)Howard Gartner教授把人類的智能分類成八大類,包括語(yǔ)言文字、視覺(jué)與空間、自然理解、自我認(rèn)知、人際關(guān)系、音樂(lè)、運(yùn)動(dòng)和數(shù)理邏輯。
圖靈獎(jiǎng)教授Joseph Sifakis提出自主系統(tǒng)概念。
周紅建議在這些思考的基礎(chǔ)上,發(fā)展感知與建模、知識(shí)自動(dòng)生成、求解與行動(dòng)三個(gè)核心部分,通過(guò)從多模態(tài)感知融合與建模,到“知識(shí)+數(shù)據(jù)”驅(qū)動(dòng)的決策,實(shí)現(xiàn)更高正確性與適應(yīng)性的自主智能系統(tǒng)。感知與建模是對(duì)外部環(huán)境以及自身的表征與抽象;知識(shí)的自動(dòng)生成應(yīng)該將吃穿住行、琴棋書(shū)畫(huà)、數(shù)理化生等人類能表達(dá)與不能表達(dá)、能感知和不能感知的知識(shí)都考慮進(jìn)來(lái),要考慮Human in the loop,將人已有的經(jīng)驗(yàn)融入到策略模型或評(píng)價(jià)函數(shù)當(dāng)中;求解與行動(dòng)可以是在已有知識(shí)的基礎(chǔ)上,結(jié)合內(nèi)外部信息進(jìn)行直接的演繹推理,或者通過(guò)與環(huán)境交互試錯(cuò),來(lái)找到解決辦法。希望未來(lái)的自主智能系統(tǒng),更好地支持自動(dòng)駕駛網(wǎng)絡(luò)、自動(dòng)駕駛汽車、云服務(wù)等領(lǐng)域。
其次是發(fā)展更好的計(jì)算模式,以及與之匹配的計(jì)算架構(gòu)與計(jì)算部件,來(lái)持續(xù)提升智能計(jì)算的效率。
他表示,在和菲爾茲獎(jiǎng)教授Laurent Lafforgue討論中提到,當(dāng)前在視覺(jué)與空間計(jì)算上,往往采用像素點(diǎn)來(lái)表達(dá)物體,但是絕大部分物體的識(shí)別與其像素點(diǎn)的顏色沒(méi)有直接的關(guān)系,甚至是毫無(wú)關(guān)系,它們?cè)诓煌墓庀鲁尸F(xiàn)不同的顏色,因此建議增加幾何流形來(lái)進(jìn)行表達(dá)和計(jì)算,看看能不能用很小的數(shù)據(jù)量來(lái)抓住物體的不變性。EPFL的Gestner和Kistlei等寫了一本《神經(jīng)動(dòng)力學(xué)》的書(shū),介紹了大腦皮層的功能柱、以及功能柱中的六層連接情況,這樣的淺度神經(jīng)網(wǎng)絡(luò)架構(gòu),會(huì)不會(huì)比深度網(wǎng)絡(luò)更高效?
另外,從實(shí)現(xiàn)的角度看,在當(dāng)前的很多AI計(jì)算上,面臨存儲(chǔ)瓶頸的問(wèn)題,我們往往要花比計(jì)算多上百倍的時(shí)間來(lái)讀寫與搬移數(shù)據(jù),今后能不能拋開(kāi)傳統(tǒng)的馮·諾依曼架構(gòu)的處理器、指令集、總線、邏輯器件和存儲(chǔ)器件,圍繞先進(jìn)AI計(jì)算模式的需要來(lái)定義新的架構(gòu)與部件?
他還分享了華為在AI領(lǐng)域所做的一些探索。
首先是AI4Industry,通過(guò)行業(yè)大模型促進(jìn)價(jià)值創(chuàng)造。華為在視覺(jué)、語(yǔ)言文字、圖網(wǎng)絡(luò)、多模態(tài)等專用L0基礎(chǔ)大模型之上,形成L1行業(yè)專用大模型,來(lái)降低開(kāi)發(fā)門檻、提升泛化能力,解決應(yīng)用碎片化的問(wèn)題,推動(dòng)從“作坊式”走向工業(yè)化升級(jí),幫助電力、煤礦、交通、制造等重要行業(yè),提升作業(yè)效率、提升安全性。比如,在煤礦場(chǎng)景,華為幫助客戶通過(guò)模型訓(xùn)練與推理,來(lái)實(shí)現(xiàn)瓦斯?jié)舛鹊某邦A(yù)警、作業(yè)序列的風(fēng)險(xiǎn)防范、以及作業(yè)質(zhì)量的智能驗(yàn)收;華為的智慧港口方案,已經(jīng)在天津、青島、上海、深圳等港口實(shí)現(xiàn)智慧化應(yīng)用。機(jī)場(chǎng)與軌道軍團(tuán)在呼和浩特、武漢與深圳與伙伴們一起探索機(jī)場(chǎng)、鐵路與地鐵的現(xiàn)代化智聯(lián)。
另一方面,AI4Science的發(fā)展也可以極大幫助提升科學(xué)研究的能力。比如,華為通過(guò)構(gòu)造新型的、地理信息3D Transformer編碼結(jié)構(gòu),以及層次化時(shí)域聚合方法,推出盤古氣象大模型,通過(guò)更精準(zhǔn)、高效的學(xué)習(xí)與推理機(jī)制,從大自然歷史運(yùn)轉(zhuǎn)出來(lái)的數(shù)據(jù)中提取出全球氣象先驗(yàn)知識(shí),代替?zhèn)鹘y(tǒng)科學(xué)計(jì)算的超大規(guī)模偏微分方程的時(shí)序求解,從而可以實(shí)現(xiàn)快速完成全球未來(lái)1小時(shí)到7天的天氣預(yù)報(bào),預(yù)測(cè)精度比歐洲中期天氣預(yù)報(bào)中心高20%以上。
在軟件編程上,除了用傳統(tǒng)AI在大量已有代碼中進(jìn)行檢索和推薦外,華為也在發(fā)展科學(xué)的模型驅(qū)動(dòng)和形式化方法。尤其是在大規(guī)模并行化的情況下,很多處理是相互糾纏和前后關(guān)聯(lián)的,華為探索出了一套名為Vsync的方法,實(shí)現(xiàn)了操作系統(tǒng)內(nèi)核的自動(dòng)化驗(yàn)證和并發(fā)代碼優(yōu)化,在提升性能的同時(shí)也確?煽啃浴2015年Linux社區(qū)發(fā)現(xiàn)了一個(gè)很難的內(nèi)存屏障Bug,社區(qū)專家花了兩年多才修復(fù),而使用華為的Vsync方法,僅用20分鐘就發(fā)現(xiàn)并修復(fù)了這個(gè)Bug。歐美一些學(xué)校和公司都來(lái)尋求Vysnc方法的合作。
在Linux社區(qū),對(duì)Kernel版本的補(bǔ)丁修改貢獻(xiàn)上,華為在2020年的5.10版本,2021年的5.14版本,以及2022年的6.1版本上,做到全球貢獻(xiàn)第一。
華為也通過(guò)新的AI計(jì)算模式,來(lái)研究定理自動(dòng)證明問(wèn)題。比如拓?fù)渌估碚撚兄谔剿鞣懂犠C明、同余推理系統(tǒng)、自動(dòng)理論導(dǎo)出,提升定理證明器的水平,希望解決形式驗(yàn)證中的狀態(tài)爆炸問(wèn)題和自動(dòng)模型抽象問(wèn)題,增強(qiáng)形式驗(yàn)證能力。
華為也在探索基礎(chǔ)計(jì)算部件的重構(gòu)。比如加法和乘法在學(xué)術(shù)界和產(chǎn)業(yè)界目前還不知道復(fù)雜度能降到什么程度。兩個(gè)二進(jìn)制數(shù)相加,可能面臨不確定次數(shù)的進(jìn)位問(wèn)題,從而消耗大量的時(shí)間和能量。華為希望解決實(shí)際應(yīng)用中的變換效率以及溢出等問(wèn)題,重構(gòu)最基本的加法和乘法,提高計(jì)算的效率。
在走向智能社會(huì)的過(guò)程中,可能有超過(guò)百倍、甚至千倍的信息需求增長(zhǎng),現(xiàn)有的很多理論和技術(shù)已經(jīng)遇到瓶頸,難以支持未來(lái)的發(fā)展,因此華為積極推動(dòng)科學(xué)假設(shè)與商業(yè)愿景牽引的創(chuàng)新,在通信上,大膽探索有別于香農(nóng)定理的前提條件和應(yīng)用場(chǎng)景;在計(jì)算上,進(jìn)一步明確人工智能的目標(biāo)定義、提升正確性、適應(yīng)性和高效性。
在通信和計(jì)算兩大基石的驅(qū)動(dòng)下,從狹義人工智能,到通用人工智能與超級(jí)人工智能的過(guò)程中,華為首先要通過(guò)理論和技術(shù)的不斷突破,來(lái)實(shí)現(xiàn)萬(wàn)物智聯(lián),促進(jìn)社會(huì)的進(jìn)步;其次要勇于拓展思想的邊界,增強(qiáng)對(duì)智能的認(rèn)知和掌控能力;最終,用正確的目標(biāo)和有力的手段,牽引人工智能的發(fā)展,助力我們超越極限,增強(qiáng)生命,創(chuàng)造物質(zhì),控制能量,跨越時(shí)空,實(shí)現(xiàn)人類文明的進(jìn)化。華為將這些面向未來(lái)的思考放在黃大年茶思屋網(wǎng)站上,促進(jìn)開(kāi)放的探討交流,希望能與伙伴們一起,開(kāi)展相關(guān)的基礎(chǔ)科學(xué)研究與技術(shù)創(chuàng)新,重構(gòu)基礎(chǔ)理論、重構(gòu)架構(gòu)、重構(gòu)軟件。同時(shí)華為也贊助青年學(xué)者,并在ICPC、IMC、以及其他全球?qū)W生奧林匹克競(jìng)賽中,分享這些挑戰(zhàn)和方向、贊助學(xué)生訓(xùn)練營(yíng)、激勵(lì)和培養(yǎng)更多的未來(lái)領(lǐng)軍人才。
“我們正在快速奔向智能社會(huì),面對(duì)無(wú)窮的可能性,我們所有的想象都是保守的。在征服星辰大海的道路上,一切的不可知和不確定性,都會(huì)使我們變得更加強(qiáng)大。”周紅最后說(shuō)。