倪光南：生成式AI尚在初期，搶抓應用兼顧安全

來源：人民網 時間：2024-03-04 10:18:33 作者：

　　第二屆北京人工智能產業(yè)創(chuàng)新發(fā)展大會日前在北京舉行。中國工程院院士倪光南在大會致辭中表示，中國在人工智能市場和應用場景上潛力巨大，當下一方面要搶抓發(fā)展機遇，在垂直領域和應用場景方面發(fā)力，另一方面要有針對性地思考和研究生成式AI存在的諸多問題，統(tǒng)籌發(fā)展與安全。

　　倪光南認為，當前生成式AI正處在發(fā)展初期，檢索增強生成（RAG）、精準算法增強等大模型增強技術仍有較大的發(fā)展空間。

　　他以近日備受關注的文生視頻應用Sora舉例指出，盡管Sora系統(tǒng)通過輸入提示詞可輸出對應的視頻，但其目前還無法準確模擬復雜場景的物理特性，也無法理解實體之間的因果關系。如，在Sora生成的果汁潑濺視頻中，實體有兩個穩(wěn)定狀態(tài)，一個是水杯直立的狀態(tài)，另一個是果汁已經潑濺出來的狀態(tài)。但是最為復雜的物理狀態(tài)，即果汁從杯中流灑出來的過程并沒有生成出來。

　　“要做到這一步還需要將眾多科學定律、工業(yè)軟件和計算能力等與大模型融合，很有挑戰(zhàn)性。”倪光南表示，目前我國很多企業(yè)和機構正在許多垂直領域和應用場景的中小模型方面發(fā)力，值得鼓勵和支持。

　　據(jù)悉，倪光南院士曾于2019年11月至2023年12月，擔任人民日報社主管、依托人民網建設的“傳播內容認知全國重點實驗室”學術委員會主任。該室驗室在生成式AI垂直應用領域開展了積極探索，其推出的“寫易”智能創(chuàng)作引擎，訓練之初就充分運用符合我國主流價值觀的數(shù)據(jù)集和語料庫，內容涵蓋政治、經濟、文化、社會、生態(tài)、黨建、國防、外交等重點領域，保障生成內容安全，著重為公務人員、事業(yè)單位、國有企業(yè)提供優(yōu)質、持續(xù)迭代的智能創(chuàng)作服務。“寫易”可基于標題生成觀點評論、會議材料、方案策劃等，目前已在多個黨政系統(tǒng)應用。

　　倪光南坦言，在可解釋、透明、公平、合法、安全等方面，生成式AI仍存在很多問題，需要有針對性地進行深入思考和認真研究，并采取一系列迅速有效的舉措，以保障安全有效地應用生成AI。

　　他指出，有多種途徑可“人為”影響生成式AI系統(tǒng)的“價值觀”傾向，包括：訓練時所使用的大數(shù)據(jù)集合；依靠人類反饋進行增強訓練時所采用的獎懲規(guī)則；算法中的某些環(huán)節(jié)或者運行中施加的某種干預；使用交互中對其進行的誘導等。對于此類“價值觀”傾向，建議由權威機構按照“主流價值觀”的要求，對生成式AI的產品和服務進行相應的價值觀測評，以幫助用戶選取適合的對象。

　　據(jù)了解，傳播內容認知全國重點實驗室針對大模型存在的意識形態(tài)風險，于2023年3月研究建立了生成式大模型內容安全測評技術體系，對大模型的應答內容，從政治方向、輿論導向、價值取向、倫理安全等10余個維度，采用人機結合的方式進行綜合測評。與此同時，人民網在對各人工智能大模型進行內容安全測評的基礎上，針對大模型普遍遇到的、自身難以克服的意識形態(tài)安全問題，建設了“主流價值語料庫”，為人工智能大模型提供安全語料支撐、知識增強服務，助力各類機構研發(fā)的人工智能系統(tǒng)提升意識形態(tài)安全水平。

　　“生成式AI是當代的重大科技創(chuàng)新，將催生新產業(yè)、新模式、新動能，是發(fā)展新質生產力的核心要素。要以全球視野進行謀劃和發(fā)展，爭取在人工智能時代躋身世界前列，為實現(xiàn)科技強國夢和民族偉大復興作出更大貢獻?！蹦吖饽险f。

　　以下為演講全文：

　　女士們、先生們：

　　大家下午好！

　　很高興參加第二屆北京人工智能產業(yè)創(chuàng)新發(fā)展大會。由人工智能引領的新一輪科技革命和產業(yè)變革在全球范圍內蓬勃興起，當前世界各國都在做出重大部署，將人工智能領域作為提升國家競爭力的科創(chuàng)高地。

　　不久前以ChatGPT為代表的大模型揭開了了生成式AI發(fā)展的新篇章，雖然我們還很難預測其今后的具體發(fā)展途徑，但是它肯定會對人類社會產生巨大的影響，我們必須直面應對，迎接相應的機遇和挑戰(zhàn)。

　　首先我們應當看到，在生成式AI的基礎研究與人才方面，我們與西方國家仍有顯著的差距，為此，我們應當思考如何在基礎大模型研發(fā)上趕上去，同時，要思考未來在教育模式上的改變，要面向新產業(yè)、新模式、新業(yè)態(tài)，發(fā)展新的人才培養(yǎng)方式和標準。

　　現(xiàn)在生成式AI的應用還剛起步，中國在人工智能市場和應用場景上有很大的潛力，當下應當狠抓應用，以此促進基礎大模型及AI算力的發(fā)展。目前我國很多企業(yè)和機構正在許多垂直領域和應用場景的中小模型方面發(fā)力，這是值得鼓勵和支持的。

　　生成式AI現(xiàn)正處在發(fā)展初期，大模型的增強技術還有很大的發(fā)展空間。例如RAG技術，即運用檢索獲得的精準結果來提升大模型響應的專業(yè)性和準確性，這一技術已得到業(yè)界的普遍認可。再例如精準算法增強也很有前景。最近發(fā)表的文生視頻Sora系統(tǒng)引人注目，它通過輸入提示詞，可輸出對應的視頻。然而Sora目前還無法準確模擬復雜場景的物理特性，也無法理解實體之間的因果關系。如在Sora生成的果汁潑濺視頻中，實體有兩個穩(wěn)定狀態(tài)，一個是水杯直立的狀態(tài)，另一個是果汁已經潑濺出來的狀態(tài)。但是最為復雜的物理狀態(tài)，即果汁從杯中流灑出來的過程卻沒有生成出來。顯然，要做到這一步需要將眾多科學定律、工業(yè)軟件和計算能力等等與大模型融合起來，這是很有挑戰(zhàn)性的工作。顯然，圍繞大模型發(fā)展各種增強技術是很有意義、很有前途的。

　　應當指出，生成式AI還存在很多問題值得我們深入思考，例如在可解釋、透明、公平、合法、安全等等方面，都需要認真研究，而且這些問題在短期內不可能都完全徹底地解決，為此，需要采取一些迅速有效的舉措，以保障人們可以盡可能安全有效地應用生成式AI。建議終端廠商在各種終端上加上“AI代理”軟件，這個軟件類似于終端上已經普遍使用的“管家”、“助手”這類小工具，不過要將這類小工具的功能擴展到監(jiān)控生成式AI的應用方面。例如：是否調用某個大模型，是否采用大模型給出的特定響應，如何將大模型與終端上的小模型融合起來……鑒于“AI代理”的能力遠遠超過了常規(guī)小工具，它當然可以包含并提升這些小工具的原有功能，從而將終端的運維、升級、安全防護等等功能都擔當起來。在技術架構上，它可以處于系統(tǒng)的最底層，取得終端的最高權限，而將原先的OS作為宿主OS。這里，對它冠以“AI代理”的名稱，意味著它可以代理終端所有者對終端實施管控，在身份、價值觀、愛好、習慣等等方面都可以代理終端所有者。

　　我看到國內有的終端已經裝備了“AI助手”（例如榮耀的魔法OS 8.0），使終端設備更智能、更有效率，更人性化和個性化。如上述工具加以延伸和擴展，就可以演進成“AI代理”，將AI應用融入終端設備當中 。

　　這里我還要強調一下對生成式AI系統(tǒng)及其所提供結論是否應當引入“價值觀”傾向的概念，因為有多種途徑可以導致這類系統(tǒng)帶有傾向，包括：訓練時所使用的大數(shù)據(jù)集合；依靠人類反饋進行增強訓練時所采用的獎懲規(guī)則；算法中的某些環(huán)節(jié)或者運行中施加的某種干預；使用交互中對其進行的誘導等等。既然有傾向，當然也可以實行評估。如同為了保障信息安全，可由權威測評機構進行相應的安全測評那樣，對于AI產品和服務，為了保障倫理安全，也可引入相應的測評機制?？捎蓹嗤C構按照“主流價值觀”的要求，對生成式AI的產品和服務進行相應的價值觀測評，以幫助用戶選取適合的對象。

　　綜上所述，生成式AI是當代的重大科技創(chuàng)新，它將催生新產業(yè)、新模式、新動能，是發(fā)展新質生產力的核心要素。我們要以全球視野進行謀劃和發(fā)展，爭取在人工智能時代躋身于世界前列，為實現(xiàn)科技強國的夢想和民族偉大復興作出更大的貢獻。

責任編輯：張薇