首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片|報(bào)告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 報(bào)告 >> 正文

《大模型安全研究報(bào)告(2024年)》正式發(fā)布

2024年9月24日 08:57  中國信通院  

全球大模型技術(shù)競賽正推動人工智能向通用強(qiáng)智能發(fā)展,引發(fā)人機(jī)交互和應(yīng)用研發(fā)模式變革。大模型在各行業(yè)的廣泛應(yīng)用為第四次工業(yè)革命提供動力,但同時(shí)也帶來安全風(fēng)險(xiǎn),如模型“幻覺”和指令注入攻擊。國際組織和主要國家通過制定治理原則、法律法規(guī)和技術(shù)標(biāo)準(zhǔn)來應(yīng)對這些挑戰(zhàn)。同時(shí),大模型在邏輯推理、任務(wù)編排等方面的卓越能力,為解決網(wǎng)絡(luò)空間安全瓶頸問題帶來了新的機(jī)遇。

為有效防范和消減大模型的安全風(fēng)險(xiǎn),并促進(jìn)其在安全領(lǐng)域的應(yīng)用,阿里云聯(lián)合中國信息通信研究院等30余家行業(yè)單位共同編制《大模型安全研究報(bào)告(2024年)》,并于2024年9月19日云棲大會AI治理與安全論壇上發(fā)布。

報(bào)告凝聚業(yè)界專家共識,聚焦當(dāng)前大模型突出安全風(fēng)險(xiǎn)和網(wǎng)絡(luò)空間安全瓶頸問題,從大模型自身安全和大模型賦能安全兩個(gè)維度,提出涵蓋安全目標(biāo)、安全屬性、保護(hù)對象、安全措施四個(gè)方面的大模型自身安全框架,以及大模型賦能安全框架。期待這些框架能為社會各方提供有益參考,共同推動大模型技術(shù)產(chǎn)業(yè)的健康發(fā)展。

報(bào)告主要內(nèi)容包括:

1. 大模型安全風(fēng)險(xiǎn)地圖

為盡可能全面應(yīng)對大模型領(lǐng)域的基礎(chǔ)共性安全挑戰(zhàn),本報(bào)告優(yōu)先對語言、多模態(tài)等各類基礎(chǔ)大模型系統(tǒng)的安全風(fēng)險(xiǎn)進(jìn)行系統(tǒng)梳理。與此同時(shí),參考ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標(biāo)準(zhǔn),將基礎(chǔ)大模型系統(tǒng)抽象為訓(xùn)練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務(wù)應(yīng)用4個(gè)重要組成部分,并通過描繪這四個(gè)組成部分面臨的重要和一般安全風(fēng)險(xiǎn),形成大模型安全風(fēng)險(xiǎn)地圖,共涵蓋21個(gè)安全風(fēng)險(xiǎn)。

2. 大模型自身安全框架

為消減大模型面臨的基礎(chǔ)共性安全風(fēng)險(xiǎn)出發(fā),提出了涵蓋安全目標(biāo)、安全屬性、保護(hù)對象、安全措施四個(gè)層面的大模型自身安全框架,構(gòu)建了保障大模型安全的整體解決方案。同時(shí),提出訓(xùn)練數(shù)據(jù)、模型算法、系統(tǒng)平臺、業(yè)務(wù)應(yīng)用四方面中共計(jì)16項(xiàng)安全保護(hù)措施。

3. 大模型賦能安全框架

結(jié)合行業(yè)實(shí)踐情況,本報(bào)告重點(diǎn)闡述大模型在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、內(nèi)容安全三個(gè)領(lǐng)域的潛在應(yīng)用方向。網(wǎng)絡(luò)安全領(lǐng)域,大模型可應(yīng)用于安全威脅識別、保護(hù)、檢測、響應(yīng)、恢復(fù)等多個(gè)保護(hù)環(huán)節(jié)中的關(guān)鍵場景。數(shù)據(jù)安全領(lǐng)域,大模型可應(yīng)用于數(shù)據(jù)分類分級、APP(SDK)違規(guī)處理個(gè)人信息檢測等場景。內(nèi)容安全領(lǐng)域,大模型可應(yīng)用于文本內(nèi)容安全檢測、圖像視頻內(nèi)容安全檢測和音頻內(nèi)容安全檢測等場景。

編 輯:路金娣
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國電信邵廣祿:面向AI大模型的智算集群及網(wǎng)絡(luò)的實(shí)踐和展望
精彩專題
2024年國際信息通信展
中國信科亮相2024年國際信息通信展
第25屆中國國際光電博覽會
2024年上半年運(yùn)營商業(yè)績盤點(diǎn)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像