生成式人工智能濫用惡用的安全威脅及對策建議研究

來源：國家信息中心 時間：2024-02-26 10:04:38 作者：

　　以ChatGPT為代表的生成式人工智能（AI Generated Content， AIGC）給人類社會帶來了巨大的技術(shù)紅利，為第四次工業(yè)革命提供了新動能。但也逐漸暴露出一系列安全風險。尤其是2022年下半年以來，暗網(wǎng)涌現(xiàn)出WormGPT、PoisonGPT、EvilGPT等一批惡意人工智能大模型，給AIGC的安全治理帶來了新的嚴峻挑戰(zhàn)，亟待未雨綢繆加強治理。

　　一、生成式人工智能滋生了惡意大模型的新威脅

　　生成式人工智能滋生了一批惡意人工智能大模型。惡意人工智能大模型是指由非法組織或不法分子操縱，借助開源模式模仿ChatGPT等合法模型，基于有害語料庫訓練而生滋生的、專門用于網(wǎng)絡犯罪、詐騙等非法行為的一類非法大模型。惡意大模型與人工智能的濫用還不盡相同，其產(chǎn)生的直接目的就是用于各類非法行為，主要運行于暗網(wǎng)，具有更強的隱蔽性、危害性，形成了“人工智能+犯罪”新治理挑戰(zhàn)，對國家安全、行業(yè)創(chuàng)新、生產(chǎn)生活等方面造成危害。

　?。ㄒ唬S護國家安全提出新挑戰(zhàn)

　　濫用惡用AIGC給國家政治和軍事帶來了新的安全挑戰(zhàn)。一是在意識形態(tài)安全方面，AIGC在數(shù)據(jù)投喂、算法訓練等環(huán)節(jié)易受到核心技術(shù)掌控方操縱，出現(xiàn)污染投毒和算法偏見等問題。可能成為西方國家對華“認知戰(zhàn)”的新工具。二是在技術(shù)自主可控方面，霸權(quán)國家主導AIGC標準制定，技術(shù)相對弱勢的國家可能盲目大規(guī)模進行產(chǎn)品使用和追隨開發(fā)，出現(xiàn)因科技封鎖和貿(mào)易制裁等遭遇“卡脖子”危險。三是在國防軍事安全方面，AIGC提高了作戰(zhàn)人員、武器和指揮信息系統(tǒng)的智能交互水平，對歷史戰(zhàn)況和現(xiàn)實情報通過先進算法進行快速推演分析，提升打擊精度和反應速度。美國軍方在2023年已開始利用AIGC撰寫國防咨詢報告，并成立Lima工作組在五角大樓評估、整合和使用該技術(shù)。

　?。ǘπ袠I(yè)應用創(chuàng)新造成新沖擊

　　濫用惡用AIGC給產(chǎn)業(yè)和行業(yè)發(fā)展帶來了新的安全沖擊。一是在教育就業(yè)方面，各種AIGC產(chǎn)品總體內(nèi)容質(zhì)量仍良莠不齊，容易出現(xiàn)創(chuàng)作的“劣幣驅(qū)逐良幣”現(xiàn)象。利用AIGC輔助完成課業(yè)和學術(shù)研究減少了必要的批判甄別和分析研究過程，會產(chǎn)出更多虛假信息和學術(shù)垃圾。二是在產(chǎn)業(yè)轉(zhuǎn)型方面，大部分傳統(tǒng)行業(yè)數(shù)字化轉(zhuǎn)型進程仍較為緩慢，對于正確運用AIGC收集、處理數(shù)據(jù)，并將其應用于研發(fā)、生產(chǎn)、銷售等各環(huán)節(jié)的意愿和能力尚且不足，大規(guī)模盲目引入AIGC可能會適得其反。

　　（三）對生產(chǎn)生活方式帶來新威脅

　　濫用惡用AIGC給企業(yè)經(jīng)營和個人生活帶來了新的安全威脅。一是在企業(yè)經(jīng)營安全方面，易出現(xiàn)數(shù)據(jù)合規(guī)風險、版權(quán)侵權(quán)、商業(yè)秘密泄露等問題。使用AIGC的分析決策黑盒、專業(yè)化團隊培養(yǎng)、投資預算等問題也會對企業(yè)的平穩(wěn)運行造成困難。二是在個人使用安全方面，山寨版GPT不斷涌現(xiàn)，相關(guān)域名注冊和盜用暴漲，頻繁向用戶索取信息授權(quán)，服務質(zhì)量差，跑路風險高。AIGC還可繞過郵件過濾和防病毒軟件等傳統(tǒng)安全措施，生成低成本、個性化的網(wǎng)絡釣魚軟件和虛假廣告。

　　二、生成式人工智能安全治理難點

　　（一）包容審慎存在失衡，政策尺度有待細化

　　AIGC是一個新生事物，其發(fā)展規(guī)律還未完全明晰，包容審慎的政策尺度和平衡點較難把握。一方面，目前AIGC安全治理政策在適應數(shù)字時代新型商業(yè)模式和秩序框架，鼓勵新業(yè)態(tài)自主創(chuàng)新、資源共享、國際合作等方面還有待健全完善。另一方面，在AIGC政策具體實施層面還存在市場形勢判斷難、干預時機決斷難、責任主體劃分難等難點，市場主體開展安全可信技術(shù)創(chuàng)新激勵和容錯措施尚未制度化。包容審慎監(jiān)管試點較少，對擬實施或已實施的監(jiān)管產(chǎn)生的積極影響和消極影響進行評估的監(jiān)管影響分析程序重視度不夠，科技倫理治理公共服務平臺有待建設。

　?。ǘ﹨f(xié)同治理能力不足，聯(lián)動合力有待提升

　　人工智能技術(shù)加速和深化了跨部門的數(shù)據(jù)共享、流程再造和業(yè)務聯(lián)動?？绮块T協(xié)同監(jiān)管仍存在信息孤島、職責孤島，人工智能立法存在困境。AIGC市場主體間競爭態(tài)勢強、利益沖突多、合作意愿弱，數(shù)據(jù)、技術(shù)、人才等資源的共享壁壘高，參與標準制定意愿較低，相關(guān)開源社區(qū)的建設和技術(shù)創(chuàng)新生態(tài)布局遲緩。

　　（三）監(jiān)管手段相對滯后，技術(shù)賦能有待加強

　　“以技術(shù)管技術(shù)、以技術(shù)治技術(shù)”的監(jiān)管治理體系尚不健全。在倫理安全層面，深度偽造技術(shù)層出不窮，而檢測算法的泛化性、魯棒性等還有待提升。在算法安全層面，算法安全內(nèi)生機理、風險評估、全生命周期安全監(jiān)測等關(guān)鍵技術(shù)支撐還需進一步加強。在數(shù)據(jù)安全層面，數(shù)據(jù)安全監(jiān)測預警技術(shù)有待創(chuàng)新，數(shù)字貿(mào)易跨境監(jiān)管仍有進步空間。非現(xiàn)場、物聯(lián)感知、穿透式等新型監(jiān)管手段運用不夠充分，監(jiān)管智能化水平有待提升。

　　三、生成式人工智能安全治理對策建議

　?。ㄒ唬┙∪贫纫?guī)則，提升政企協(xié)同治理能力

　　1.政府發(fā)揮規(guī)范引導指揮棒作用

　　一是加大查處管控和宣傳教育。實行包容審慎和分類分級監(jiān)管，監(jiān)控查處非法使用和傳播惡意AIGC行為，管制違規(guī)賬號。二是健全技術(shù)規(guī)范和評價標準。制定AIGC預訓練和優(yōu)化訓練數(shù)據(jù)、標注、數(shù)據(jù)分類分級保護等方面的國家標準，以及深度偽造、智能群呼設備等高風險AI技術(shù)的使用規(guī)范。三是完善法律體系和制度框架。采用安全港等機制處理內(nèi)容責任歸屬問題，加強和改進反壟斷和反不正當競爭執(zhí)法。探索我國數(shù)據(jù)存儲體系優(yōu)化，構(gòu)建數(shù)據(jù)被動出境的主動防御體系，建立跨境數(shù)據(jù)流動規(guī)則和白名單等機制。

　　2.相關(guān)企業(yè)強化責任與安全意識

　　一是保障內(nèi)容安全可信。采用人機審核相結(jié)合的方式弱化和刪減不當內(nèi)容，對AIGC進行顯著標識，提供使用和退出服務簡明的解決方案?？紤]采用時間戳、哈希值校驗、電子簽名等技術(shù)手段為AIGC提供溯源與認證，主動向使用統(tǒng)一的AIGC數(shù)據(jù)標準或元數(shù)據(jù)標準靠攏。二是完善安全制度流程。抓取開放數(shù)據(jù)應遵循合法、正當和必要原則，敏感信息進行脫敏處理，企業(yè)內(nèi)部針對不同的崗位和職級設置數(shù)據(jù)權(quán)限。設定高獎勵額度的“漏洞懸賞計劃”。三是配合安全監(jiān)管檢查。嚴格遵從開源許可協(xié)議規(guī)定行使開源軟件的復制權(quán)、修改權(quán)、發(fā)行權(quán)。主動向主管部門申報安全評估，履行算法備案和變更等手續(xù)，提升服務透明度。對于機密程度高、創(chuàng)新要求高的技術(shù)密集型產(chǎn)業(yè)，例如軍工、航天、芯片等行業(yè)在使用AIGC過程中要著重進行審慎評估和內(nèi)查外糾。

　　（二）加強技術(shù)創(chuàng)新，健全安全治理技術(shù)體系

　　1.完善人工反饋的強化學習機制

　　注重對人工反饋的強化學習機制（RLHF）的優(yōu)化。從與訓練語言模型、收集數(shù)據(jù)并訓練獎勵模型、強化學習微調(diào)語言模型等階段，降低數(shù)據(jù)成本、優(yōu)化算法、改進微調(diào)策略，防止被某些策略繞開而產(chǎn)出不當內(nèi)容，使模型與人類需求對齊。自動化調(diào)用模型知識，進一步降低對大規(guī)模高質(zhì)量人工標注數(shù)據(jù)的依賴。

　　2.加強模型安全技術(shù)研究及應用

　　一是部署數(shù)據(jù)和模型安全防御。通過優(yōu)化魯棒訓練算法應對數(shù)據(jù)投毒，采取截斷混淆、差分隱私等手段使模型隱私信息模糊化，采取模型水印、模型指紋等溯源手段保障知識產(chǎn)權(quán)專有性。二是做好各類接口安全性設計。采用身份驗證、日志監(jiān)控、網(wǎng)關(guān)等技術(shù)手段加強API和網(wǎng)頁端接口的安全防范管理。使用VPN等加密通道傳輸數(shù)據(jù)，部署抗DDoS工具，使用嗅探器等檢測安全問題并跟蹤數(shù)據(jù)泄露。三是分析研究新型LLM。探索利用人工智能工具逐步實現(xiàn)自動化對抗惡意AIGC，進而用大模型“對抗”大模型。

　　（三）優(yōu)化監(jiān)管手段，提升智能治理監(jiān)管能力

　　一是完善內(nèi)容分類篩選機制。完善內(nèi)容分類、濫用模式捕獲、人工評審決策和通知用戶機制，并增強對非英語語言的支持。二是強化生成內(nèi)容檢測技術(shù)。通過實時聚類、特征庫匹配等強化文本檢測技術(shù)，依托生理信號特征、GAN圖像特征、數(shù)據(jù)驅(qū)動等強化深度偽造檢測技術(shù)。三是拓展監(jiān)管工具場景應用。探索智能化監(jiān)管手段，例如數(shù)字沙盒、隱私護盾等與相關(guān)行業(yè)企業(yè)對接。

　　四、結(jié)語

　　本文對AIGC濫用惡用的安全治理進行了研究。歸納了濫用惡用AIGC對國家安全、行業(yè)創(chuàng)新、生產(chǎn)生活等三方面威脅，總結(jié)出AIGC政策尺度有待細化、聯(lián)動合力有待提升、技術(shù)賦能有待加強等難點。最后，從健全制度規(guī)則、加強技術(shù)創(chuàng)新、優(yōu)化監(jiān)管手段等方面提出對策建議，對促進AIGC規(guī)范應用和健康發(fā)展具有重要啟示作用。

　　（來源：《中國信息化》2023年第11期；作者：國家信息中心公共技術(shù)服務部 王曉冬 李木子）

責任編輯：張薇