國產(chǎn)大模型Kimi爆火！阿里、360、百度緊急“出手”

來源：數(shù)據(jù)觀綜合 時間：2024-03-25 15:50:57 作者：

　　3月21日，從通用人工智能（AGI）創(chuàng)業(yè)公司月之暗面（Moonshot AI）獲悉，該公司推出的Kimi 智能助手已支持 200 萬字超長無損上下文，預(yù)計(jì)今年將開啟商業(yè)化模式。

　　Kimi 智能助手又稱Kimi Chat，是月之暗面基于自研千億參數(shù)大模型打造的對話式 AI 助手產(chǎn)品。月之暗面表示，Kimi智能助手長上下文處理能力，幫助用戶解鎖了很多新的使用場景，包括專業(yè)學(xué)術(shù)論文的翻譯和理解、輔助分析法律問題、一次性整理幾十張發(fā)票、快速理解API開發(fā)文檔等。

　　“過去要 10000 小時才能成為專家的領(lǐng)域，現(xiàn)在只需要 10 分鐘，Kimi 就能接近任何一個新領(lǐng)域的初級專家水平。用戶可以跟 Kimi 探討專業(yè)領(lǐng)域的問題，讓 Kimi 幫助自己練習(xí)專業(yè)技能，或者啟發(fā)新的想法?！痹轮得娣矫娣Q，用戶可以上傳一份完整的近百萬字中醫(yī)診療手冊，讓 Kimi 針對用戶問題給出診療建議。

　　據(jù)月之暗面聯(lián)合創(chuàng)始人周昕宇透露，目前團(tuán)隊(duì)正在持續(xù)探索優(yōu)化產(chǎn)品的方案，會結(jié)合長文本等能力做出更好的設(shè)計(jì)，今年公司在自研的多模態(tài)大模型上會有新動向。

　　Kimi爆火，網(wǎng)站一度宕機(jī)

　　OpenAI官方去年11月發(fā)布的GPT-4 Turbo支持128k上下文，大約相當(dāng)于10萬漢字。而Kimi智能助手在去年10月首次亮相時，就可支持20萬漢字的無損上下文長度，是大模型產(chǎn)品里這一單項(xiàng)能力的冠軍。

　　僅僅5個月后，月之暗面公司就宣布把Kimi的這一能力提升到了全新的數(shù)量級200萬漢字。

　　根據(jù)SimilarWeb數(shù)據(jù)顯示，去年12月Kimi的周訪問量還在10萬次上下，到了今年1月下旬才突破40萬，但是從春節(jié)開始訪問量疾速攀升，到現(xiàn)在周訪問量已經(jīng)超過160萬次，2月訪問量增長107.6%，僅次于百度文心一言與阿里通義千問（訪問量均下降超30%）。

　　另據(jù)AI產(chǎn)品榜統(tǒng)計(jì)，在2月份的AI產(chǎn)品榜-全球增速榜中，月之暗面的Kimi的上榜訪問量的增速為107.6%，增速位列全球第一。

　　3月21日，因流量突然劇增，有不少用戶在社交平臺上表示，kimi智能助手的APP和小程序無法正常使用。當(dāng)天，月之暗面發(fā)布情況說明。月之暗面稱，作為一家以技術(shù)為導(dǎo)向的公司，我們非常理解一個API的穩(wěn)定性是能否投入實(shí)際生產(chǎn)的最關(guān)鍵因素之一，已經(jīng)有多項(xiàng)應(yīng)急措施正在實(shí)施，包括不限于：從3月20日觀測到流量異常增高后，已經(jīng)進(jìn)行了5次擴(kuò)容工作。推理資源會持續(xù)配合流量進(jìn)行擴(kuò)容，以盡量承載持續(xù)增長的用戶量；設(shè)計(jì)了一套更有效的SaaS流量優(yōu)先級策略，以保障付費(fèi)用戶的調(diào)用穩(wěn)定，預(yù)計(jì)3月25日之前完成并上線。

　　Kimi Chat：開啟AI“長文本時代”

　　公開資料顯示，月之暗面成立于2023年4月，法定代表人楊植麟畢業(yè)于清華大學(xué)交叉信息學(xué)院。截至目前，月之暗面公司已完成三筆融資，獲紅杉中國、真格基金等機(jī)構(gòu)投資，最新一輪融資超10億美元，投資方包括阿里、紅杉中國、小紅書、美團(tuán)等，估值達(dá)25億美元（約合人民幣180億元），是國內(nèi)最主要的大模型獨(dú)角獸之一。

　　去年 10 月 9 日，成立僅半年的 Moonshot AI 就推出了全球首個支持輸入20萬漢字的智能助手產(chǎn)品——Kimi Chat，宣布開啟人工智能“長文本時代”。

　　此前接受媒體采訪時，月之暗面創(chuàng)始人楊植麟表示，如果說參數(shù)量決定了大模型支持多復(fù)雜的“計(jì)算”，而能夠接收多少文本輸入（即長文本技術(shù)）決定了大模型有多大的“內(nèi)存”，兩者共同決定模型的應(yīng)用效果。無損上下文將是通往AGI（通用人工智能）的關(guān)鍵基礎(chǔ)技術(shù)。從 Word2vec 到 RNN、LSTM，再到Transformer，歷史上所有的模型架構(gòu)演進(jìn)，本質(zhì)上都是在提升有效的、無損的上下文長度。

　　月之暗面將長文本技術(shù)稱之為大模型“登月計(jì)劃”的第一步。對于長文本技術(shù)的開發(fā)，市場上出現(xiàn)了不同的技術(shù)路線。但在楊植麟看來，這些路線幾乎都是在犧牲一部分性能前提下的“捷徑”。 楊植麟將其總結(jié)為三類：

　　“金魚”模型，容易“健忘”。通過滑動窗口等方式主動拋棄上文，只保留對最新輸入的注意力機(jī)制。模型無法對全文進(jìn)行完整理解，無法處理跨文檔的比較和長文本的綜合理解。例如，無法從一篇10萬字的用戶訪談錄音轉(zhuǎn)寫中提取最有價值的10個觀點(diǎn)。

　　“蜜蜂”模型，只關(guān)注局部，忽略整體。通過對上下文的降采樣或者RAG（檢索增強(qiáng)的生成），只保留對部分輸入的注意力機(jī)制。模型同樣無法對全文進(jìn)行完整理解。例如，無法從50個簡歷中對候選人的畫像進(jìn)行歸納和總結(jié)。

　　“蝌蚪”模型，模型能力尚未發(fā)育完整。通過減少參數(shù)量（例如減少到百億參數(shù)）來提升上下文長度，這種方法會降低模型本身的能力，雖然能支持更長上下文，但是大量任務(wù)無法勝任。

　　楊植麟認(rèn)為，簡單的捷徑無法達(dá)到理想的產(chǎn)品化效果。因此，月之暗面的技術(shù)路線，就是不走捷徑，踏實(shí)地解決算法與工程的雙重挑戰(zhàn)，在算力、存儲、帶寬等技術(shù)層面做了極致的優(yōu)化。

　　“Kimi文字能力達(dá)到GPT-4水平”

　　申萬宏源表示，根據(jù)其內(nèi)部測評，Kimi的文字能力全面達(dá)到GPT-4水平。Kimi中英文生成能力已經(jīng)接近GPT-4水平，盡管邏輯推理能力仍有差距，且主打文字生成、目前無多模態(tài)能力；Cluade3中英文生成、理解、推理，多模態(tài)圖片理解能力均與GPT-4接近，效果好于Gemini，且實(shí)際使用中生成速度快于GPT-4和Gemini。

　　銀河證券認(rèn)為，2024年AI應(yīng)用元年有兩個條件：1.大模型達(dá)到可使用狀態(tài)：這點(diǎn)從Kimi用戶好評如潮中可以看出；2.大模型公眾可觸達(dá)：目前Kimi已經(jīng)面向全社會開放使用。Kimi智能助手是AGI進(jìn)程中的又一“里程碑”，宣布大模型正式進(jìn)入“長文本時代”。

　　華西證券研報(bào)指出，如果把上下文長度理解成大模型的“精力”，那么現(xiàn)在Kimi能夠一口氣精讀500個甚至更多數(shù)量的文件，幫助用戶快速分析所有文件的內(nèi)容，并且支持通過自然語言進(jìn)行信息查詢和篩選。在Kimi還是20萬字輸入長度的時候，它的能力界限還在50個文件左右。

　　國信證券表示，Kimi憑借其在處理長文本方面的卓越能力，能夠處理高達(dá)200萬字的輸入，顯示出其在無損閱讀方面的巨大潛力。這一突破不僅提升了內(nèi)容創(chuàng)作和整理的效率，還為小說、劇本創(chuàng)作等領(lǐng)域帶來了深化和創(chuàng)新，同時在游戲互動、AI陪伴和專業(yè)領(lǐng)域任務(wù)執(zhí)行等方面開辟了新的應(yīng)用場景。

　　國泰君安表示，Kimi此次更新后支持的200萬字的上下文意味著模型的文本理解容量有了本質(zhì)變化，應(yīng)用落地場景也有望擴(kuò)大。

　　中國銀河證券認(rèn)為，Kimi智能助手迭代速度超預(yù)期，Kimi智能助手是AGI進(jìn)程中的又一“里程碑”，宣布大模型正式進(jìn)入“長文本時代”，繼續(xù)堅(jiān)定2024年是AI應(yīng)用元年，應(yīng)用端商業(yè)化進(jìn)程持續(xù)加速。

　　阿里、360、百度緊急“出手”

　　隨著月之暗面Kimi的熱度高漲，大模型領(lǐng)域競爭又重新激烈起來，互聯(lián)網(wǎng)大廠們進(jìn)入了“卷”長文本的階段。

　　3月22日，阿里的通義千問官宣升級，向所有人免費(fèi)開放1000萬字的長文檔處理功能。用戶可通過通義千問網(wǎng)站和APP快速讀研報(bào)、分析財(cái)報(bào)、讀科研論文、研判案情、讀醫(yī)療報(bào)告、解讀法律條文、分析考試成績、總結(jié)深度文章。

　　3月23日，360智腦宣布正式內(nèi)測500萬字長文本處理功能，該功能即將入駐360AI瀏覽器。目前360AI瀏覽器已向用戶免費(fèi)開放100萬字長文本閱讀功能，可一分鐘讀完《三體》，并就文本外的“超綱”問題進(jìn)行問答和延展學(xué)習(xí)。

　　另據(jù)媒體報(bào)道，百度在下個月將對文心一言進(jìn)行升級，屆時也將開放長文本能力，文本范圍在200萬-500萬。目前，文心一言的文本最高上限在3.2萬。

　　此前2月，由李開復(fù)帶隊(duì)創(chuàng)辦的AI 2.0公司零一萬物發(fā)布Yi大模型API，同時啟動邀測。零一萬物為這次邀測提供了兩種模型：Yi-34B-Chat（0205）和Yi-34B-Chat-200K。其中，前者支持聊天、問答、對話、寫作、翻譯等功能，后者則可以完成處理200K上下文、多文檔閱讀理解，以及超長知識庫構(gòu)建等任務(wù)。零一萬物表示，本次重磅出臺Yi-34B-Chat-200K API，將加速大模型應(yīng)用進(jìn)入“長文本時代”。

　　此外，OpenAI也在進(jìn)行相關(guān)布局，經(jīng)過三次升級，GPT-3.5上下文輸入長度從4000增長至1.6萬token（模型輸入和輸出的基本單位），GPT-4從8000增長至3.2萬token。另外，Anthropic也將上下文長度擴(kuò)至10萬token。

　　大模型公司鉚足勁攻克長文本技術(shù)，上下文本長度擴(kuò)大100倍意味著什么？表面上看是可輸入的文本長度越來越長，閱讀能力越來越強(qiáng)。

　　若將抽象的token值量化，GPT-3.5的4000 token最多只能輸入3000個英文單詞或者2000個漢字，連一篇公眾號文章都難以讀完；3.2萬token的GPT-4達(dá)到了閱讀一篇短篇小說的程度；10萬token的Claude可輸入約7.5萬個單詞，僅22秒就可以閱讀完一本《了不起的蓋茨比》；40萬token的Kimi Chat支持輸入20萬漢字，閱讀一本長篇巨著。

　　另一方面，長文本技術(shù)也在推動大模型更深層次的產(chǎn)業(yè)落地，金融、司法、科研等精艱深的領(lǐng)域里，長文檔摘要總結(jié)、閱讀理解、問答等能力是其基本，也是亟待智能化升級的練兵場。

　　參考上一輪大模型廠商“卷”參數(shù)，大模型參數(shù)不是越大就越好，各家都在通過盡可能地?cái)U(kuò)大參數(shù)找到大模型性能最優(yōu)的“臨界點(diǎn)”。同理，作為共同決定模型效果的另一項(xiàng)指標(biāo)——文本長度，也不是越長，模型效果就越好。

　　斯坦福大學(xué)聯(lián)合加州伯克利大學(xué)以及Samaya的研究員，在一篇題為“中途迷失：語言模型的長·上下文利用之道”中提出：在多文檔問題回答和鍵值檢索，這兩種都需要從輸入的上下文中識別相關(guān)信息的任務(wù)中，大語言模型會隨著輸入上下文的長度增加，性能會顯著下降。

　　作者指出，當(dāng)相關(guān)信息出現(xiàn)在輸入上下文的開頭或結(jié)尾時，性能通常最好，但當(dāng)模型需要在長篇上下文的中間獲取相關(guān)信息時，性能明顯降低。

　　換句話說：當(dāng)帶有答案的文字，被放在文章的中間時候，大語言模型可能無法準(zhǔn)確識別、理解該答案。因此，大模型目前越來越卷的上下文窗口長度，可能并不能增加模型的理解能力。

　　據(jù)目前的用戶體驗(yàn)來看，Kimi也不是全能選手。有用戶反饋表示，對于一些較為困難的任務(wù)，包括結(jié)構(gòu)化信息處理和圖像中潦草文字的識別以及對話連續(xù)性，Kimi仍顯示出一些短板。在生成能力和語音能力上，目前Kimi還未加入這些模態(tài)。

　　盡管如此，長文本能力的重要性仍不言而喻。

　　一家AI上市公司大模型架構(gòu)業(yè)務(wù)人士表示，由于模型訓(xùn)練結(jié)構(gòu)的限制，以往大模型的文本范圍都不算長，但復(fù)雜任務(wù)和行業(yè)知識通常是長篇巨制，這種情況下，只能拆分輸入提問，但這可能會導(dǎo)致輸出的結(jié)果上下不連貫邏輯不通順。長文本可以全篇連貫地去理解上下文，滿足理解和問答的需求，長文本能力在此時是具備優(yōu)勢的。

責(zé)任編輯：張薇