李開復(fù)旗下「零一萬物」大模型被指抄襲LLaMA

來源：數(shù)據(jù)觀綜合 時(shí)間：2023-11-15 14:45:56 作者：

　　李開復(fù)初創(chuàng)的 AI 公司零一萬物（01.AI）發(fā)布開源大模型 Yi-34B不久后，被指套殼Meta公司在今年開源的大模型LLaMA。

　　Yi-34B被指是對(duì)LLaMA的重構(gòu)

　　阿里前技術(shù)副總裁、大模型行業(yè)創(chuàng)業(yè)者賈揚(yáng)清近日在朋友圈中表示，做小公司不容易，在做適配某國內(nèi)大廠的新模型的業(yè)務(wù)時(shí)，發(fā)現(xiàn)此大廠新模型完全照搬LLaMA的架構(gòu)，“今天有朋友告訴我，這個(gè)大廠新模型exactly就是LLaMA的架構(gòu)，但是為了表示不一樣，把代碼里面的名字從LLaMA改成了他們的名字，然后換了幾個(gè)變量名?！?/p>

　　賈揚(yáng)清表示希望不要換名偽裝，以免做多余的適配工作，“各位大佬，開源社區(qū)不容易，如果你們就是開源的模型結(jié)構(gòu)，求高抬貴手就叫原來的名字吧，免得我們還做一堆工作就為了適配你們改名字?！?/p>

　　賈揚(yáng)清沒有指明具體的大模型名字。但業(yè)內(nèi)懷疑的對(duì)象指向李開復(fù)旗下的零一萬物（Yi）。

　　在全球三大開源社區(qū)平臺(tái)之一Hugging Face上，零一萬物的社區(qū)中，開發(fā)者ehartford指出，“據(jù)我們了解，除了兩個(gè)張量（tensor）被重命名之外，Yi 完全使用了 LLaMA 的架構(gòu)。”

原貼鏈接：https://news.ycombinator.com/item？id=38258015

　　據(jù)《機(jī)器之心》報(bào)道，有研究者在加速器創(chuàng)業(yè)網(wǎng)站Y Combinator上發(fā)帖指出，Yi-34B 模型基本上采用了 LLaMA 的架構(gòu)，只是重命名了兩個(gè)張量。

　　帖子還指出：Yi-34B 的代碼實(shí)際上是對(duì) LLaMA 代碼的一次重構(gòu)，但看似并未作出任何實(shí)質(zhì)性改變。這個(gè)模型明顯是基于原始 Apache 2.0 版的 LLaMA 文件進(jìn)行的編輯，但卻未提及 LLaMA：

Yi vs LLaMA 代碼對(duì)比。

代碼鏈接：https://www.diffchecker.com/bJTqkvmQ/

　　在Hugging Face上零一萬物社區(qū)討論中，有用戶指出套殼對(duì)于Yi許可證的風(fēng)險(xiǎn)，“如果他們使用完全相同的 Meta LLaMA 結(jié)構(gòu)、代碼庫和所有相關(guān)資源，也必須遵守 LLaMA 規(guī)定的許可協(xié)議。以 LLaMA 格式正式發(fā)布 Yi 模型是有問題的，會(huì)破壞 Yi 許可條款的可執(zhí)行性?！?/p>

　　零一萬物回應(yīng)爭議

　　對(duì)于本次爭議，零一萬物回應(yīng)稱：GPT 是一個(gè)業(yè)內(nèi)公認(rèn)的成熟架構(gòu)，LLaMA 在 GPT 上做了總結(jié)。零一萬物研發(fā)大模型的結(jié)構(gòu)設(shè)計(jì)基于 GPT 成熟結(jié)構(gòu)，借鑒了行業(yè)頂尖水平的公開成果，由于大模型技術(shù)發(fā)展還在非常初期，與行業(yè)主流保持一致的結(jié)構(gòu)，更有利于整體的適配與未來的迭代。同時(shí)零一萬物團(tuán)隊(duì)對(duì)模型和訓(xùn)練的理解做了大量工作，也在持續(xù)探索模型結(jié)構(gòu)層面本質(zhì)上的突破。

　　零一萬物團(tuán)隊(duì)開源總監(jiān) richardllin 回應(yīng) ehartford 稱：

　　非常感謝您在討論中指出了這一點(diǎn)，也感謝您以良好的耐心等待我們做出回復(fù)。

　　您對(duì)張量名稱的看法是正確的，我們會(huì)按照您的建議將其從 Yi 重命名為 LLaMA。我們也一直強(qiáng)調(diào)以準(zhǔn)確、透明的方式完成工作。您在前面的帖子中提到，“開源社區(qū)肯定會(huì)重新發(fā)布 Yi 模型并調(diào)整張量名稱，制作出符合 LLaMA 架構(gòu)的新版本?！边@讓我們不禁好奇：您是希望提交一條包含這些變更的 PR 嗎？或者說，如果您希望由我們處理更新，我們也可以按要求操作并在本 repo 中發(fā)布新版本——這樣可能更省時(shí)間。

　　這個(gè)命名問題是我們的疏忽。在大量訓(xùn)練實(shí)驗(yàn)中，我們對(duì)代碼進(jìn)行了多次重命名以滿足實(shí)驗(yàn)要求。但在發(fā)布正式版本之前，我們顯然沒能將它們?nèi)空_調(diào)整回來。我們對(duì)此深感抱歉，對(duì)于由此造成的混亂也感到遺憾。

　　我們正在努力加強(qiáng)工作流程，力爭未來不出現(xiàn)類似的失誤。您的反饋給了我們很大幫助，接下來我們將再次核查所有代碼，確保其余部分準(zhǔn)確無誤。也希望您還有整個(gè)社區(qū)持續(xù)關(guān)注我們的工作進(jìn)展。

　　再次感謝您的提醒，期待您的更多支持和寶貴建議。

　　“34B是開源大模型稀缺的黃金比例尺寸”

　　今年3月下旬，李開復(fù)宣布將以Project AI 2.0入局大模型。7月，李開復(fù)上線了“AI 2.0”公司零一萬物（01.ai）。11月，零一萬物發(fā)布首款開源中英雙語大模型“Yi”。

　　與此同時(shí)，零一萬物已完成新一輪融資，由阿里云領(lǐng)投。目前，零一萬物估值超過10億美元，在成立不到8個(gè)月的時(shí)間即躋身獨(dú)角獸行列。

　　中英雙語開源大模型“Yi”系列，包括Yi-6B（參數(shù)規(guī)模為60億基礎(chǔ)模型）和Yi-34B（參數(shù)規(guī)模為340億的基礎(chǔ)模型）兩個(gè)版本。

　　李開復(fù)認(rèn)為，340億參數(shù)量屬于開源大模型稀缺的“黃金比例”尺寸，達(dá)到“涌現(xiàn)”門檻、滿足精度要求的同時(shí)，對(duì)廠商而言能夠采用高效率單卡推理，訓(xùn)練成本友好。在參數(shù)量和性能方面，Yi-34B相當(dāng)于只用了不及LLaMA 2-70B一半的參數(shù)量，取得了在各項(xiàng)測(cè)試任務(wù)中超越全球領(lǐng)跑者的成績。

　　據(jù)介紹，Yi目前擁有全球大模型中最長的200K上下文窗口，可處理約40萬字的文本。這意味著Yi-34B可以理解超過1000頁的PDF文檔，同時(shí)可以讓很多依賴向量數(shù)據(jù)庫構(gòu)建外部知識(shí)庫的場(chǎng)景，用上下文窗口來完成替代。

　　在訓(xùn)練數(shù)據(jù)上，李開復(fù)表示，零一萬物團(tuán)隊(duì)通過正規(guī)渠道購買和爬取的方式，獲得了 100T 的中英文數(shù)據(jù)，并選取了其中 3T 的優(yōu)質(zhì)內(nèi)容進(jìn)行訓(xùn)練。

　　但和 LLaMA2 一樣，Yi 系列模型在 GSM8k、MBPP 的數(shù)學(xué)和代碼評(píng)測(cè)表現(xiàn)略遜 GPT 模型。李開復(fù)解釋，這是由于當(dāng)前零一萬物的技術(shù)路線傾向于在預(yù)訓(xùn)練階段盡可能保留模型的通用能力，沒有加入過多的數(shù)學(xué)和代碼數(shù)據(jù)。但也將陸續(xù)繼續(xù)推出 Yi 系列大模型的量化版本、對(duì)話模型、數(shù)學(xué)模型、代碼模型、多模態(tài)模型等一系列模型。

責(zé)任編輯：張薇