大智能的未來取決于大數(shù)據(jù)、大模型、大算力的發(fā)展

來源：AIII研究院 時間：2023-09-12 15:22:21 作者：中國工程院院士蔣昌俊

　　 中國人工智能學(xué)會監(jiān)事長、中國工程院院士蔣昌俊表示，人工智能的發(fā)展已經(jīng)歷了數(shù)十年的過程，大模型ChatGPT在今年春節(jié)前后突然出現(xiàn)，大家還沒有來得及深度思考就已經(jīng)“撲面而來”。

　　大智能的研究進(jìn)展

　　科學(xué)技術(shù)的研究約分為兩大范式，一是牛頓力學(xué)奠定了理論計(jì)算的范式，二是開普勒開啟數(shù)據(jù)的范式。之后經(jīng)歷了實(shí)驗(yàn)歸納、理論的邏輯推演，以及計(jì)算模擬、最近的數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)等。特別是近來基于數(shù)據(jù)的科學(xué)發(fā)現(xiàn)，主要用大數(shù)據(jù)擬合高緯度復(fù)雜函數(shù)以發(fā)現(xiàn)其內(nèi)涵規(guī)律與模式的過程，被稱為第四范式。

　　人腦是利用過去的背景知識和感知的現(xiàn)行數(shù)據(jù)確定決策；大模型是通過學(xué)習(xí)模型適應(yīng)下游任務(wù)以完成機(jī)器的決策。在這一過程中，大模型綜合部分通用任務(wù)的結(jié)果，并且給下游任務(wù)較好的表征，類似于人腦中背景知識提供的經(jīng)驗(yàn)，也類似于人腦在具有背景知識的情況下較快適應(yīng)新環(huán)境。

　　傳統(tǒng)模型一般規(guī)模比較小，比如專家系統(tǒng)、知識庫等。它是具有一些知識推理的模型，少量的專有知識能在小算力的情況下通過集中式算法的處理，因此所能解決的問題也相對有限。而大模型不一樣，在算力、數(shù)據(jù)和模型方面有著大規(guī)模的提升。它在海量的泛化數(shù)據(jù)中，在大算力的支持下通過分布式算法驅(qū)動，使其具有泛化知識的推理模型。

　　大算力的支撐導(dǎo)致大智能。超大規(guī)模模型參數(shù)的算法即超多層的神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)是超大規(guī)模的數(shù)據(jù)樣本，算力是超大規(guī)模的計(jì)算范疇。在這樣的條件下，我們對自然語言的理解與處理顯然有著集聚效應(yīng)。因此此次的大模型躍遷可以歸結(jié)為大模型算法的優(yōu)化，一方面提升數(shù)據(jù)的利用率，同時也緩解算力的需求瓶頸。這是我們從大模型、大數(shù)據(jù)中挖掘出復(fù)雜規(guī)律的方式。

　　大模型的優(yōu)化經(jīng)歷了幾個過程。首先是早期的統(tǒng)計(jì)語言模型，然后進(jìn)入面向特定任務(wù)的神經(jīng)網(wǎng)路嵌入式模型，再到基于深度學(xué)習(xí)的預(yù)處理模型。預(yù)訓(xùn)練模型為自然語言的處理提供了好的表征。ChatGPT是自然語言處理最新的衍生品。這一過程在一些具體事務(wù)中的表現(xiàn)，比如在美國高校的入學(xué)資格考試中其取得的平均成績?yōu)橹械人健Ｈ缤珹lphaGo早期與人類的博弈一樣，它可以進(jìn)行自訓(xùn)練，無止境地提高自身水平。AlphaGo所拓展的空間遠(yuǎn)遠(yuǎn)強(qiáng)于人類，在博弈過程中的見識比人類更廣。但反過來說，圍棋畢竟是有限空間，在19×19的棋盤中下棋是有規(guī)則的。ChatGPT數(shù)據(jù)空間的樣本是無限的，過程沒有固定規(guī)則可言，所以它的問題更加復(fù)雜。在這一情況下ChatGPT能夠接近人類的基本水平，令我們非常驚訝。

　　大模型里關(guān)鍵技術(shù)主要包括語言的生成、上下文的學(xué)習(xí)和世界知識。三種能力來自大模型的預(yù)訓(xùn)練過程、代碼訓(xùn)練、指令微調(diào)，再基于人類反饋的強(qiáng)化學(xué)習(xí)。目前ChatGPT4已經(jīng)出現(xiàn)，這一過程在學(xué)術(shù)界引起強(qiáng)烈的反響。比如杰弗里？辛頓對此一開始保持沉默，但最近他離開了谷歌并表達(dá)深度擔(dān)憂。

　　卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)是其中的關(guān)鍵技術(shù)，Transformer的過程被特別留意。ChatGPT的發(fā)展再到基礎(chǔ)的模型、Transformer的優(yōu)化，加上算力和數(shù)據(jù)的“給力”，使得這一次大模型的表現(xiàn)非常不一般。大模型關(guān)鍵技術(shù)還包括思維鏈，它將認(rèn)知過程劃分為若干階段，每個階段再進(jìn)行細(xì)化和表征。思維鏈在研究認(rèn)知行為的過程中起了非常重要的作用，就是將一個較大的問題劃分為小問題，并且預(yù)測出思維過程給出提示。在大模型方面可以更好地利用語料數(shù)據(jù)庫，給出更精確的推理。對于每個提示的輸出思維過程，一定程度上能對模型的輸出作出解釋。

　　大智能的發(fā)展趨勢

　　大智能包括三個方面——大模型、大算力和大數(shù)據(jù)。它的研究趨勢之一是繼續(xù)通過數(shù)據(jù)、算力和算法的規(guī)模，在變化的量變過程求得質(zhì)變。在量變求涌現(xiàn)的過程中，在垂直方向可以看到數(shù)據(jù)、算法和算力的表現(xiàn)。一是高質(zhì)量數(shù)據(jù)， 因?yàn)閿?shù)據(jù)的質(zhì)量非常重要；二是高效能算法和高效用算力，可以保證認(rèn)知過程的準(zhǔn)確性與精準(zhǔn)性。在這些方面我們?nèi)栽诓粩嗟靥剿骱脱芯浚跀?shù)據(jù)方面通過多模態(tài)數(shù)據(jù)的采集提高數(shù)據(jù)效用。在算法方面，算法效力的提高是我們追求的目標(biāo)；在算力方面，算力有效的效能行為也能有所推進(jìn)和進(jìn)展。

　　大模型的垂直化是大智能的第二個趨勢。一個是領(lǐng)域基礎(chǔ)模型，另一個是行業(yè)基礎(chǔ)模型。比如受到關(guān)注的安全風(fēng)控基礎(chǔ)模型——當(dāng)然這不光是在某個行業(yè)，而是相關(guān)行業(yè)都有的共性問題。如具體落在金融行業(yè)，其金融業(yè)務(wù)的基礎(chǔ)模型是行業(yè)的基礎(chǔ)模型。如同人類知識架構(gòu)一樣，在通用的知識基礎(chǔ)上如何應(yīng)用領(lǐng)域與行業(yè)的常識，這是垂直化的重要趨勢。當(dāng)然在這個過程中也面臨了一些問題。比如產(chǎn)業(yè)現(xiàn)狀是直接使用基礎(chǔ)模型，往往會與場景上專業(yè)的應(yīng)用需求有一定差距，它的問題就表現(xiàn)在缺乏行業(yè)的知識、使用的門檻比較高，部署相對比較困難。這是目前我們所面臨的三大基礎(chǔ)問題。

　　針對垂直化行業(yè)大模型的產(chǎn)業(yè)模式問題，一從社會化的分工入手，二從工業(yè)化的大生產(chǎn)入手，從行業(yè)任務(wù)一直囊括行業(yè)業(yè)務(wù)數(shù)據(jù)以及語料和知識。大模型平臺相對應(yīng)的是行業(yè)大模型、通用大模型和通用大數(shù)據(jù)，從數(shù)據(jù)中篩選出有效的知識和利用。所以總體而言，它的垂直化是全產(chǎn)業(yè)協(xié)同，從數(shù)據(jù)角度來看，包括靜態(tài)數(shù)據(jù)、傳輸中的數(shù)據(jù)等數(shù)據(jù)共享機(jī)制。另外，行業(yè)大模型聚焦具體的行業(yè)屬性，加速智能化升級?；A(chǔ)大模型的科研成果落地要有具體應(yīng)用，從數(shù)據(jù)中獲取知識是其共性的追求目標(biāo)。

　　大模型面臨的種種挑戰(zhàn)

　　現(xiàn)在各大行業(yè)都在紛紛嘗試建立各自的大模型。在垂直行業(yè)中，算力供給也面臨挑戰(zhàn)，一是需要實(shí)時更新，時效性的領(lǐng)域知識需要實(shí)時更新，需要全面滿足多樣性的服務(wù)類型，適應(yīng)各自相關(guān)的業(yè)務(wù)需要。二是需要及時響應(yīng)，特別是對一些突發(fā)性的計(jì)算任務(wù)，比如金融交易領(lǐng)域的風(fēng)險控制往往較多面臨突發(fā)性的情況，這時需要垂直領(lǐng)域的算力供給，要適應(yīng)隨需即用的特性。

　　在綜合性算力供給方面，算力的匯聚包括從端上數(shù)據(jù)、邊緣數(shù)據(jù)到云際間的數(shù)據(jù)。在基于算網(wǎng)的組合方面需要算網(wǎng)智能、供需的平衡、統(tǒng)一編排等，這些技術(shù)都需要予以加強(qiáng)。此外還要按需使用，如在智能推理、不同的工業(yè)互聯(lián)網(wǎng)環(huán)境、遠(yuǎn)程醫(yī)療等都有不同需求。特別是在機(jī)動性強(qiáng)的領(lǐng)域，算力的專配非常重要。根據(jù)需求，可伸縮性、可擴(kuò)展性生成定制化的算力供給。在這一過程中我們建立了方艙計(jì)算模式，將算力、算法和數(shù)據(jù)三合一，形成機(jī)動性強(qiáng)、供應(yīng)性比較靈活的方式，這對整體性算網(wǎng)是非常重要的。

　　模型風(fēng)險也是風(fēng)險之一。模型風(fēng)險就是要解決一些虛假性問題即去風(fēng)險，這是進(jìn)一步開發(fā)基礎(chǔ)性模型的核心挑戰(zhàn)之一。同時還包括安全性問題、數(shù)據(jù)風(fēng)險、侵權(quán)等。數(shù)據(jù)的隱私將面臨更加嚴(yán)峻的挑戰(zhàn)，如何保護(hù)隱私問題是在大模型安全中必須考慮到的。此外還有安全中的多元風(fēng)險，將算力、算法和數(shù)據(jù)疊加，其數(shù)據(jù)安全、系統(tǒng)安全和模型安全融合后的整體性安全問題，都是需要考慮的基礎(chǔ)性問題。

　　大模型的發(fā)展趨勢從安全化、可信可控的模型，單一行業(yè)向大模型的垂直行業(yè)、垂直領(lǐng)域不斷去拓展，從而帶來的社會化問題應(yīng)該引起高度重視。總結(jié)而言，一是大智能研究進(jìn)展是“豐富數(shù)據(jù)+擴(kuò)大模型+增投算力”，從而生成“思維鏈+自注意力機(jī)制”這一關(guān)鍵性要領(lǐng)。二是大模型的發(fā)展趨勢，從量變求涌現(xiàn)以及大模型的垂直化和大模型安全性的增強(qiáng)，這些問題必須予以關(guān)注。

責(zé)任編輯：張薇