關(guān)于大模型生態(tài)建設(shè)的若干思考

來源：《中國金融》2023年第13期 時(shí)間：2023-07-12 16:40:55 作者：姚前

　　進(jìn)入2023年，ChatGPT、GPT4以及Midjourney等以內(nèi)容生成為導(dǎo)向的人工智能應(yīng)用，引發(fā)了一輪又一輪的創(chuàng)新浪潮。有人甚至認(rèn)為，大模型正在以日為單位迭代進(jìn)化。作為新型生產(chǎn)要素，大模型訓(xùn)練數(shù)據(jù)的良性可持續(xù)發(fā)展，對于大模型和人工智能產(chǎn)業(yè)的發(fā)展至關(guān)重要。金融業(yè)作為大數(shù)據(jù)和人工智能應(yīng)用的重要領(lǐng)域，理應(yīng)密切關(guān)注當(dāng)前大模型訓(xùn)練相關(guān)技術(shù)的最新態(tài)勢。本文首先分析大模型的進(jìn)化與升級(jí)路徑，之后通過探討大模型和中小模型可能的交互方式，闡述大模型的數(shù)據(jù)生態(tài)和模型生態(tài)建設(shè)，為保障產(chǎn)業(yè)安全健康發(fā)展、規(guī)避數(shù)據(jù)和技術(shù)風(fēng)險(xiǎn)以及構(gòu)建可持續(xù)發(fā)展的大模型生態(tài)提供相關(guān)思路。

　　大模型的升級(jí)與進(jìn)化路徑分析

　　從長期視角來看，大模型的進(jìn)化衍生出眾多分支。最近一段時(shí)間，大模型迭代不僅速度加快，而且參與者也越來越多，基本上涵蓋了所有的大型科技公司，生態(tài)的多樣性和復(fù)雜性已初步顯現(xiàn)。

　　目前，大模型升級(jí)迭代過程中的底層算法框架并沒有本質(zhì)的變化，算力投入以及訓(xùn)練數(shù)據(jù)的豐富仍然是其快速進(jìn)化的關(guān)鍵，只不過最新的GPT4呈現(xiàn)出一些新的特征。

　　一是算法方面更適配具體的下游任務(wù)。GPT3與GPT3.5都是1750億參數(shù)的大模型。GPT4目前沒有公布具體參數(shù)，但有人推測其參數(shù)將達(dá)到萬億級(jí)別，同時(shí)在強(qiáng)化學(xué)習(xí)和解決具體任務(wù)方面也將有顯著提升，比較流行的術(shù)語是“對齊”（Alignment）。如果說GPT3系列模型向大家證明了人工智能能夠在一個(gè)模型里做多個(gè)任務(wù)，那么GPT4則在很多任務(wù)上已經(jīng)達(dá)到甚至超過人類水平，比如，在律師等專業(yè)學(xué)術(shù)考試上，分?jǐn)?shù)能夠達(dá)到應(yīng)試者前10%左右的水平。

　　二是具備更規(guī)范的訓(xùn)練數(shù)據(jù)治理能力且支持多模態(tài)。GPT4擁有“堪比人腦”的多模態(tài)能力，跟目前很多論文闡述的多模態(tài)機(jī)理并無太多差別，但它能夠把文本模型的少樣本處理能力和思維鏈（ChainofThought，CoT）結(jié)合進(jìn)來。GPT4訓(xùn)練數(shù)據(jù)的治理與供給，離不開數(shù)據(jù)標(biāo)注、數(shù)據(jù)管理與評(píng)估、數(shù)據(jù)自動(dòng)化以及數(shù)據(jù)合成。

　　三是構(gòu)建更強(qiáng)大的算力集群，以滿足更多的訓(xùn)練數(shù)據(jù)集和更大的輸入?yún)?shù)。例如，微軟已經(jīng)將超過一半的云資源投入大模型訓(xùn)練與人工智能生成內(nèi)容（AIGC）應(yīng)用。英偉達(dá)更是與臺(tái)積電、荷蘭阿斯麥、新思科技強(qiáng)強(qiáng)聯(lián)手，打造全新的算力平臺(tái)與更強(qiáng)大的GPU。

　　構(gòu)建各類模型相互聯(lián)通的生態(tài)

　　GPT類大模型功能強(qiáng)大，在未來會(huì)成為許多行業(yè)如互聯(lián)網(wǎng)、金融、醫(yī)療等領(lǐng)域的重要基礎(chǔ)設(shè)施之一。例如，在金融領(lǐng)域，經(jīng)過相關(guān)專業(yè)數(shù)據(jù)的訓(xùn)練，大模型可以具備理解金融業(yè)務(wù)知識(shí)的能力，并能針對具體場景提出解決方案，支持金融機(jī)構(gòu)開展?fàn)I銷自動(dòng)化、客戶關(guān)聯(lián)關(guān)系挖掘、智能風(fēng)險(xiǎn)識(shí)別、智能客服、智能投研等。

　　但在具體應(yīng)用落地的過程中，GPT類大模型還會(huì)面臨一系列挑戰(zhàn)。一是如何確保訓(xùn)練數(shù)據(jù)的數(shù)量與質(zhì)量。一般而言，大模型的訓(xùn)練語料為來自于多個(gè)領(lǐng)域的通用語料，而專業(yè)語料的收集通常比較耗時(shí)費(fèi)力，同時(shí)也存在隱私問題，由此導(dǎo)致大模型在具體的個(gè)別應(yīng)用領(lǐng)域可能出現(xiàn)專業(yè)性不足的情況。二是如何降低大模型的運(yùn)行和維護(hù)成本。大模型需要巨大的算力支持和嚴(yán)格的數(shù)據(jù)治理，普通的機(jī)構(gòu)和應(yīng)用部門往往難以支撐大模型的運(yùn)行以及迭代升級(jí)工作。為此，需要建立一個(gè)各類模型健康交互和協(xié)同進(jìn)化的生態(tài)，以保證大模型相關(guān)人工智能產(chǎn)業(yè)可以在各個(gè)應(yīng)用領(lǐng)域成功落地。

　　從技術(shù)角度來分析，大模型的進(jìn)化依靠人工反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback，RLHF），其采用的數(shù)據(jù)標(biāo)注與過去那種用低成本勞動(dòng)力完成的簡單數(shù)據(jù)標(biāo)注工作有所不同，需要非常專業(yè)的人士來寫詞條，針對相應(yīng)的問題和指令，給出符合人類邏輯與表達(dá)的高質(zhì)量答案。但由于人工與機(jī)器的交互存在一定的隔閡，比較理想的模式是通過模型之間的交互來進(jìn)行強(qiáng)化學(xué)習(xí)，即依靠模型反饋的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromModelFeedback，RLMF）?；诟黝惸Ｐ偷慕换?，可以將整個(gè)大模型的數(shù)據(jù)和模型生態(tài)統(tǒng)一為一個(gè)框架。

　　過去，在分散化的模型研發(fā)模式下，單一的人工智能應(yīng)用場景下多個(gè)任務(wù)需要由多個(gè)模型共同支撐完成，每一個(gè)模型建設(shè)都要經(jīng)歷算法開發(fā)、數(shù)據(jù)處理、模型訓(xùn)練與調(diào)優(yōu)過程。預(yù)訓(xùn)練大模型增強(qiáng)了人工智能的通用性、泛化性，基于大模型通過零樣本或小樣本精調(diào)，就可在多種任務(wù)上取得較好效果。大模型“預(yù)訓(xùn)練+精調(diào)”模式為人工智能研發(fā)帶來了新的標(biāo)準(zhǔn)化范式，使人工智能模型可以在更統(tǒng)一、更簡明的方式下實(shí)現(xiàn)規(guī)?；a(chǎn)。圍繞技術(shù)創(chuàng)新與應(yīng)用落地，大模型的數(shù)據(jù)和產(chǎn)業(yè)生態(tài)可劃分為基礎(chǔ)設(shè)施（包括通用語料及算力平臺(tái)）、基礎(chǔ)大模型、大模型服務(wù)（包括合成數(shù)據(jù)、模型供給及應(yīng)用插件）。在下游應(yīng)用中，用戶可以部署自己的小模型，通過大模型的各種服務(wù)來提升性能，同時(shí)也可反向給大模型提供相應(yīng)的反饋服務(wù)，幫助大模型迭代進(jìn)化（見圖1）。

　　基礎(chǔ)大模型是大模型產(chǎn)業(yè)生態(tài)的核心引擎，其優(yōu)勢在于基礎(chǔ)性和通用性，面向典型任務(wù)如自然語言處理、計(jì)算機(jī)視覺、跨模態(tài)任務(wù)等需求，進(jìn)一步結(jié)合任務(wù)特性，優(yōu)化模型算法，學(xué)習(xí)相關(guān)數(shù)據(jù)與知識(shí)，從而使大模型表現(xiàn)出更優(yōu)異的效果，甚至可以零樣本直接應(yīng)用。

　　小模型具有體量?。ㄍǔＴ诎賰|參數(shù)級(jí)別）、易于訓(xùn)練及維護(hù)的特點(diǎn)，因此適合各垂直領(lǐng)域，適合各行業(yè)進(jìn)行內(nèi)部開發(fā)和使用。在通常情況下，小模型訓(xùn)練成本較低，但性能遠(yuǎn)不及大模型。通過大、小模型交互應(yīng)用，可以讓小模型獲得大模型的部分能力或?qū)崿F(xiàn)部分功能，從而在不增加運(yùn)維成本的前提下，使小模型的性能得到較大提升，滿足具體的應(yīng)用需求。大、小模型交互的方式可以分為三類：數(shù)據(jù)交互、模型交互和應(yīng)用交互（見圖2）。

　　數(shù)據(jù)交互

　　數(shù)據(jù)交互是指大、小模型不直接參與彼此的訓(xùn)練或推理過程，而是間接通過彼此產(chǎn)生的數(shù)據(jù)來進(jìn)行交互。大模型的訓(xùn)練通常需要大規(guī)模的通用語料，如GPT3的訓(xùn)練語料多達(dá)753GB，來自維基百科等多個(gè)數(shù)據(jù)源。通用語料指的是覆蓋多個(gè)領(lǐng)域的語料，在某些特定領(lǐng)域的知識(shí)覆蓋可能存在不足。大模型訓(xùn)練完成后，可以通過指令生成一些特定領(lǐng)域的合成語料，再通過本地化部署，連同該領(lǐng)域的專用語料或行業(yè)內(nèi)的私有語料一起訓(xùn)練小模型。小模型訓(xùn)練語料的領(lǐng)域比較集中，因此可以系統(tǒng)掌握本領(lǐng)域的知識(shí)，從而使模型的輸出更專業(yè)、更細(xì)致、更精準(zhǔn)。大模型在這一過程中的作用是產(chǎn)生大規(guī)模的高質(zhì)量合成語料，使小模型的訓(xùn)練可以更加充分，防止專用語料或私有語料因規(guī)模小而導(dǎo)致模型的過度擬合。反之，小模型生成的專業(yè)語料，也可以作為大模型訓(xùn)練語料的補(bǔ)充，增強(qiáng)大模型在不同領(lǐng)域的專業(yè)能力，使大模型可以不斷迭代進(jìn)化。

　　實(shí)現(xiàn)大、小模型的數(shù)據(jù)交互，除了要依靠數(shù)據(jù)源管理機(jī)構(gòu)外，還需考慮建立數(shù)據(jù)托管和交易機(jī)構(gòu)，使得大、小模型的訓(xùn)練數(shù)據(jù)可以有序管控和流動(dòng)，并為各方合理分配相應(yīng)的權(quán)益。

　　模型交互

　　除了間接的數(shù)據(jù)交互之外，大、小模型還可在模型層面進(jìn)行交互，通過參與彼此的訓(xùn)練過程，使得雙方可以共同受益，提升大模型的迭代效率。一方面，大模型可以指導(dǎo)小模型的訓(xùn)練，常用的方式為蒸餾學(xué)習(xí)（KnowledgeDistillation）。在蒸餾學(xué)習(xí)模式中，訓(xùn)練好的大模型可以作為教師模型，待訓(xùn)練的小模型作為學(xué)生模型，針對同一批訓(xùn)練數(shù)據(jù)，通過設(shè)計(jì)合理的損失函數(shù)，將大模型產(chǎn)生的軟標(biāo)簽與訓(xùn)練數(shù)據(jù)本身的硬標(biāo)簽對小模型的訓(xùn)練進(jìn)行聯(lián)合指導(dǎo)。同樣，小模型也可對大模型進(jìn)行反向蒸餾，利用小模型做樣本價(jià)值判斷幫助大模型加速收斂——將訓(xùn)練好的小模型在下游數(shù)據(jù)集上進(jìn)行進(jìn)一步微調(diào)之后，得到樣本價(jià)值判斷模型。

　　應(yīng)用交互

　　大、小模型在應(yīng)用層面進(jìn)行交互的典型方式為插件模式，即將模型構(gòu)建的應(yīng)用封裝為插件服務(wù)供其他模型調(diào)用。插件模式具有兩大優(yōu)點(diǎn)：一是便捷高效，模型無需重復(fù)訓(xùn)練；二是隔離性好，可以避免模型細(xì)節(jié)的泄露，從而更好地保護(hù)模型訓(xùn)練方和使用方的權(quán)益。

　　一方面，大模型基本上采用預(yù)訓(xùn)練方式，實(shí)時(shí)性不高。通過調(diào)用小模型應(yīng)用插件，大模型應(yīng)用不僅可以提高輸出結(jié)果的實(shí)時(shí)性，也可以擴(kuò)展自身在特定領(lǐng)域的知識(shí)缺失。另一方面，小模型構(gòu)建的應(yīng)用也可以通過調(diào)用GPT類大模型提供的插件，直接獲得大模型強(qiáng)大的生成能力和推理能力。這種應(yīng)用交互方式可以讓小模型免去通用知識(shí)的訓(xùn)練過程，以較低成本來專注于特定領(lǐng)域的內(nèi)容生產(chǎn)，用戶也可以感受到各類模型互聯(lián)互通后產(chǎn)生的“化學(xué)”反應(yīng)。

　　開放人工智能（OpenAI）近期發(fā)布的新產(chǎn)品ChatGPTplugins可以通過應(yīng)用插件連接ChatGPT與第三方應(yīng)用。這些第三方應(yīng)用，可以是由單個(gè)領(lǐng)域的小模型構(gòu)建而成。通過這種方式，小模型可以在ChatGPT類的大模型中完成多種擴(kuò)展功能，如檢索實(shí)時(shí)資訊或知識(shí)庫信息、代替用戶對現(xiàn)實(shí)世界進(jìn)行“智能調(diào)度”等。

　　大模型訓(xùn)練數(shù)據(jù)與模型工具鏈的標(biāo)準(zhǔn)化和安全管控

　　大模型的性能依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量，同時(shí)，模型在不同落地場景下所需的底層技術(shù)規(guī)格也不盡相同。因此，構(gòu)建大模型持續(xù)發(fā)展、健康交互的良好產(chǎn)業(yè)生態(tài)，必須推進(jìn)大模型訓(xùn)練數(shù)據(jù)與底層技術(shù)的標(biāo)準(zhǔn)化，加快模型的迭代與落地。

　　一方面，大模型自身的訓(xùn)練數(shù)據(jù)集以及定義的數(shù)據(jù)服務(wù)接口（API），將會(huì)成為行業(yè)的事實(shí)標(biāo)準(zhǔn)，而接入大模型的各種應(yīng)用都必須遵循該標(biāo)準(zhǔn)。目前，模型“預(yù)訓(xùn)練＋微調(diào)”已經(jīng)成為行業(yè)統(tǒng)一的標(biāo)準(zhǔn)流程和范式。在此基礎(chǔ)上，結(jié)合具體的應(yīng)用場景和專業(yè)數(shù)據(jù)，可以進(jìn)一步定制和優(yōu)化各領(lǐng)域各行業(yè)的小模型。從某種程度上來說，大模型訓(xùn)練數(shù)據(jù)和數(shù)據(jù)服務(wù)接口標(biāo)準(zhǔn)，將會(huì)成為下一代國際標(biāo)準(zhǔn)的核心之一。

　　另一方面，處理大模型訓(xùn)練數(shù)據(jù)的底層技術(shù)所需的工具鏈也必須產(chǎn)品化和標(biāo)準(zhǔn)化。大模型在標(biāo)準(zhǔn)化技術(shù)服務(wù)的有力支撐下，可輸出硬件適配、模型蒸餾和壓縮、模型分布式訓(xùn)練和加速、向量數(shù)據(jù)庫、圖數(shù)據(jù)庫、模型互聯(lián)互通等技術(shù)方案，提供自然語言處理、計(jì)算機(jī)視覺、跨模態(tài)、知識(shí)圖譜等各類能力，讓更多的企業(yè)、開發(fā)者可以低門檻地將大模型應(yīng)用于自身業(yè)務(wù)并構(gòu)建行業(yè)垂直模型，從而促進(jìn)人工智能在各領(lǐng)域廣泛落地。

　　值得注意的是，大模型的開發(fā)和應(yīng)用雖然會(huì)對產(chǎn)業(yè)和經(jīng)濟(jì)發(fā)展帶來巨大紅利，但如果不加以合理管控，也會(huì)給國家和產(chǎn)業(yè)安全帶來風(fēng)險(xiǎn)。一是數(shù)據(jù)泄露風(fēng)險(xiǎn)。大模型的訓(xùn)練、落地，都需要以海量的數(shù)據(jù)支撐，其中包含行業(yè)或個(gè)人敏感信息的數(shù)據(jù)。如果沒有合理的數(shù)據(jù)脫敏和數(shù)據(jù)托管機(jī)制，則可能造成數(shù)據(jù)泄露，給行業(yè)和個(gè)人造成損失。二是模型安全風(fēng)險(xiǎn)。比如，插件可能被植入有害內(nèi)容，成為不法分子欺詐和“投毒”的工具，危及社會(huì)和產(chǎn)業(yè)安全。

　　相關(guān)建議

　　以大模型訓(xùn)練數(shù)據(jù)為抓手，標(biāo)準(zhǔn)制定和數(shù)據(jù)治理雙管齊下。通過制定模型應(yīng)用規(guī)范，統(tǒng)一接口標(biāo)準(zhǔn)，促進(jìn)行業(yè)規(guī)范化發(fā)展?？煽紤]對模型的合成數(shù)據(jù)進(jìn)行托管，以加強(qiáng)監(jiān)督，保障數(shù)據(jù)內(nèi)容合規(guī)、權(quán)益清晰、流通順暢。同時(shí)完善法律法規(guī)，優(yōu)化政策制度，以多種途徑與方式形成監(jiān)管合力，嚴(yán)防惡意篡改模型和滲入有害數(shù)據(jù)等行為。

　　構(gòu)建大模型訓(xùn)練數(shù)據(jù)要素市場。厘清訓(xùn)練數(shù)據(jù)采集處理、合成數(shù)據(jù)服務(wù)、大小模型互聯(lián)互通、應(yīng)用API之間的產(chǎn)業(yè)鏈。加快數(shù)據(jù)要素市場建設(shè)，為訓(xùn)練數(shù)據(jù)提供市場化定價(jià)，以利權(quán)益分配與激勵(lì)。

　　構(gòu)建大小模型共生發(fā)展、相互促進(jìn)的良好生態(tài)?？傮w來看，目前國內(nèi)外主流大模型在算法層面尚不存在代際差，但是在算力和數(shù)據(jù)方面存有差距。建議在通用領(lǐng)域大力支持國內(nèi)頭部科技企業(yè)研發(fā)自主可控的國產(chǎn)大模型，同時(shí)鼓勵(lì)各垂直領(lǐng)域在大模型基礎(chǔ)上，利用開源工具構(gòu)建規(guī)范可控的自主工具鏈，既探索“大而強(qiáng)”的通用模型，又研發(fā)“小而美”的垂直行業(yè)模型，從而構(gòu)建基礎(chǔ)大模型和專業(yè)小模型交互共生、迭代進(jìn)化的良好生態(tài)。

責(zé)任編輯：張薇