300億參數(shù)！蘋果大模型首次曝光

來源：數(shù)據(jù)觀綜合 時間：2024-03-18 15:38:29 作者：

　　今年以來，蘋果顯然已經(jīng)加大了對生成式人工智能的重視和投入。

　　在2024年初舉行的蘋果四季度財報會議上，蘋果公司CEO蒂姆·庫克表示，今年將在AIGC領(lǐng)域?qū)崿F(xiàn)重大進展。

　　2月29日，彭博報道稱，蘋果公司結(jié)束了長達10年之久的造車項目“泰坦計劃”，計劃將汽車項目的部分員工轉(zhuǎn)移到 AI 團隊，促使整個蘋果押注 AIGC 新浪潮。

　　如今，蘋果終于公布了首份研究成果。

　　蘋果公司通過一篇名為《MM1：Methods， Analysis & Insights from Multimodal LLM Pre-training》的研究論文，正式官宣了其在多模態(tài)大模型（Multimodal Large Language Models，簡稱 MLLMs）領(lǐng)域的研究成果。

　　論文顯示，MM1模型擁有高達300億的參數(shù)規(guī)模，不僅在預(yù)訓(xùn)練指標(biāo)中實現(xiàn) SOTA，而且具備密集模型和混合專家（MoE）變體架構(gòu)等，在一系列已有多模態(tài)基準(zhǔn)上監(jiān)督微調(diào)后也能保持有競爭力的性能。

　　為什么蘋果要發(fā)布這樣一篇實驗性的技術(shù)論文？

　　目前，語言模型主要有閉源和開源兩種路線，閉源模型中，人們對數(shù)據(jù)、模型架構(gòu)、訓(xùn)練細節(jié)知之甚少。開源模型雖然會發(fā)布數(shù)據(jù)、模型、訓(xùn)練的細節(jié)，但是也不會發(fā)布任何模型算法設(shè)計以及工程化的細節(jié)信息。

　　蘋果想打破這種局面，提出讓大模型構(gòu)建的過程變得“更透明”的路線，這是蘋果為什么將各種模型訓(xùn)練的細節(jié)公開，發(fā)布這篇論文的原因。

　　蘋果300億多模態(tài)大模型MM1殺入場

　　和市面上其他大模型相比，MM1亮點并不在驚艷的效果上，也沒有提出特別的技術(shù)路線，而是通過控制各種變量，做實驗，找出影響模型效果中關(guān)鍵因素。在測試中，MM1-30B-Chat在TextVQA、SEED和MMMU上的表現(xiàn)優(yōu)于Emu2-Chat37B和CogVLM-30B，但是表現(xiàn)不如谷歌的Gemini和OpenAI的GPT4V。

　　論文表明，研究團隊通過深入和全面的剖析圖像編碼器、視覺 - 語言連接器以及各種預(yù)訓(xùn)練數(shù)據(jù)選擇，發(fā)現(xiàn)了幾個關(guān)鍵的設(shè)計經(jīng)驗。例如，他們展示了在大規(guī)模多模態(tài)預(yù)訓(xùn)練中使用精心混合的圖像 - 文字對、交錯的圖像 - 文本和純文本數(shù)據(jù)是實現(xiàn)多個基準(zhǔn)測試中最先進（SOTA）的少量樣本結(jié)果的關(guān)鍵。

　　此外，他們還展示了圖像編碼器、圖像分辨率和圖像標(biāo)記數(shù)量對性能有重大影響，而視覺 - 語言連接器的設(shè)計相對而言影響較小。

　　通過擴大展示的配方，他們構(gòu)建了 MM1 系列多模態(tài)模型，包括密集模型和專家混合（MoE）變體，這些模型在預(yù)訓(xùn)練指標(biāo)中實現(xiàn)了 SOTA，并且在監(jiān)督微調(diào)后在一系列既定的多模態(tài)基準(zhǔn)測試中表現(xiàn)出競爭力。得益于大規(guī)模預(yù)訓(xùn)練，MM1 具有吸引人的特性，如增強的上下文學(xué)習(xí)能力和多圖像推理能力，使其能夠通過少量樣本提示進行思維鏈推理。

　　該論文為業(yè)界詳細展示了他們的實驗方法：

　　● 架構(gòu)方面：研究團隊考察了多種預(yù)訓(xùn)練圖像編碼器，并探究了不同方式下，這些編碼器與語言模型（LLMs）的整合策略。

　　● 數(shù)據(jù)處理：分析了多種數(shù)據(jù)類型及其在模型訓(xùn)練中的相對重要性，以確定它們的混合權(quán)重。

　　● 訓(xùn)練策略：詳細討論了多模態(tài)大型語言模型（MLLM）的訓(xùn)練過程，包括超參數(shù)設(shè)置以及模型的哪些部分應(yīng)當(dāng)在何時進行訓(xùn)練。

　　通過在這些關(guān)鍵領(lǐng)域進行的實證實驗和簡化，蘋果公司成功評估了不同配置下模型的性能，最終確定了最優(yōu)的模型與數(shù)據(jù)配置方案。

　　最終確定 MM1 多模態(tài)預(yù)訓(xùn)練的配方如下：

　　● 圖像編碼器：考慮到圖像分辨率的重要性，APPLE 使用了一個在 DFN-5B 上用 CLIP 目標(biāo)預(yù)訓(xùn)練的 ViT-H 模型，分辨率為 378x378px。

　　● 視覺 - 語言連接器：由于視覺令牌的數(shù)量最重要，APPLE 使用了一個具有 144 個令牌的 VL 連接器。實際的架構(gòu)似乎影響較小，APPLE 選擇了 C-Abstractor。

　　● 數(shù)據(jù)：為了保持零樣本和少量樣本的性能，APPLE 使用了以下精心混合的數(shù)據(jù)：45% 交錯的圖像 - 文本文檔、45% 圖像 - 文本對文檔和 10% 純文本文檔。

　　值得注意的是，MM1 目前還沒有公測，官方也沒有公布上線時間表，要評估其具體的技術(shù)水平可能還需要很長一段時間。

　　蘋果的AI布局

　　在近兩年AI浪潮之下，蘋果一直被詬病行動緩慢，早些年推出的Siri遠遠不能滿足用戶的需求，與微軟谷歌等科技巨頭相比，蘋果更是遜色不少。

　　此前，在蘋果年度股東大會上，庫克沒有透露蘋果的AI進展，但他曾表示，目前使用蘋果AI技術(shù)的設(shè)備包括Vision Pro（手部追蹤）和Apple Watch（心率警報）。他同時稱，每一臺使用蘋果芯片的Mac都是一臺功能異常強大的AI機器，目前市場上沒有比它更適合AI的電腦。

　　值得注意的是，蘋果在AI領(lǐng)域已經(jīng)有不少布局，在多方面投資或研究AI，包括硬件采購、內(nèi)部AI模型構(gòu)建，以及研究如何在小型設(shè)備上運行AI。

　　早在2017年6月，蘋果公布了CoreML框架。CoreML旨在將預(yù)先訓(xùn)練的AI模型部署到蘋果設(shè)備的各種應(yīng)用程序中。外媒認為，這是蘋果曾經(jīng)被動參與生成式AI的最初路徑。

　　而專門在Apple芯片上用于機器學(xué)習(xí)的開源陣列框架MLX的推出代表著蘋果的態(tài)度從被動參與到主動開發(fā)的轉(zhuǎn)變。于去年12月發(fā)布的MLX專為機器學(xué)習(xí)研究人員設(shè)計，旨在有效地訓(xùn)練和部署AI模型。這在某種程度上表明了公司對生成式AI的野心。

　　大型語言模型方面，去年7月，彭博社曾爆料，蘋果已經(jīng)建立了大語言模型框架“Ajax”，并且基于Ajax創(chuàng)建了聊天機器人服務(wù)，一些工程師稱之為“蘋果GPT”。去年10月，蘋果與康奈爾大學(xué)的研究人員共同開發(fā)了多模式AI模型 Ferret。

　　除了構(gòu)建AI框架和基礎(chǔ)模型之外，蘋果正在與外部合作伙伴合作，推進生成式AI的開源能力。與此同時，蘋果還在豪擲千金積極采購芯片。

　　知名蘋果分析師郭明錤稱，蘋果在AI服務(wù)器方面進行了大量投資，2023年采購了2000-3000臺，公司計劃在2024年額外采購18000-20000臺，占全球AI服務(wù)器出貨量的5%。據(jù)稱，蘋果2023年用于AI服務(wù)器采購的支出至少達到 6.2 億美元，預(yù)計到 2024 年，這一數(shù)字將達到 47.5 億美元。蘋果購買的AI服務(wù)器主要為最常見的英偉達HGXH1008-GP。

　　另一方面，蘋果在收購AI初創(chuàng)公司上可以說是“遙遙領(lǐng)先”。

　　據(jù)統(tǒng)計，從 2010 年收購 Siri 開始，蘋果在 10 年時間里收購多達 30 多起 AI 初創(chuàng)公司。自 2017 年以來，蘋果收購了 21 家人工智能初創(chuàng)公司，幾乎是微軟和 Meta 收購數(shù)量的兩倍，可以稱得上“AI 頭號買家”。2021 年起，蘋果收購 AI 公司的節(jié)奏看起來有所放緩，但依舊拿下了Curious AI、 AI Music、WaveOne 等初創(chuàng) AI 公司。

　　據(jù)硅谷科技評論（svtr.ai）數(shù)據(jù)統(tǒng)計，2023年的近千位獲得融資的AI創(chuàng)始人中，其中17 位連續(xù)創(chuàng)業(yè)者之前的創(chuàng)業(yè)的公司都是出售給蘋果。

　　Stocklytics金融分析師Edith Reads評論稱，在持續(xù)的AI軍備競賽中，蘋果正在與許多AI初創(chuàng)公司進行大規(guī)模交易，主要為了在未來發(fā)展中占據(jù)有利位置。通過收購有前景的AI初創(chuàng)公司，蘋果獲得了頂級人才和核心創(chuàng)新技術(shù)，并在關(guān)鍵的AI領(lǐng)域鞏固了其地位，確保在迅速變化的技術(shù)環(huán)境中保持競爭優(yōu)勢。蘋果的投資策略側(cè)面凸顯了蘋果在AI領(lǐng)域的關(guān)注重點，包括AI人才、關(guān)鍵技術(shù)和知識產(chǎn)權(quán)。

　　iPhone 的 AI 時刻何時到來？

　　根據(jù) Counterpoint Research 發(fā)布的《生成式 AI 智能手機出貨量洞察》報告預(yù)估 ，2024 年會成為生成式 AI 智能手機的關(guān)鍵元年，預(yù)估出貨量將達到 1 億臺。

　　作為手機行業(yè)的巨頭，蘋果的動態(tài)深受關(guān)注，iPhone的更新更是備受矚目。

　　近期，根據(jù)彭博社透露，蘋果的生成式AI可能會集成在今年發(fā)布的iOS 18上，這將會比iPhone 16的升級更具看點。彭博社透露，iOS 18將會是一個開創(chuàng)性的重大更新，對系統(tǒng)的改動遠超iOS 15、iOS 16和iOS 17。iOS 18將會給iPhone帶來全新系統(tǒng)設(shè)計與導(dǎo)入更多新功能，同時還會增強性能與安全性，對比舊款會有極大差異。

　　與此同時，彭博社也再次透露，今年早些時候，蘋果已收購 DarwinAI公司，進一步擴充其在AI領(lǐng)域的實力。據(jù)悉，這家公司的兩大核心技術(shù)分別是在制造過程中檢查零部件的AI技術(shù)，以及使用機器學(xué)習(xí)打造更小更高效的AI系統(tǒng)，這對于蘋果開發(fā)iOS 18的相關(guān)AI功能有著重要的影響。

　　此外，The Information 報道也指出，蘋果計劃將大型語言模型整合到 Siri 中，讓用戶可以自動化復(fù)雜的任務(wù)，這一特性涉及與快捷鍵應(yīng)用的深度集成。該報道稱，該特性預(yù)計將在 2024 年的 iPhone 軟件更新中發(fā)布，可能是 iOS 18。

　　在今年蘋果公司最新一季財報電話會議上，蒂姆·庫克已經(jīng)明確表示，蘋果正在研究生成式 AI，并計劃在“今年晚些時候”分享更多詳情。這可能指的是在 WWDC2024 開發(fā)者大會（預(yù)計6月召開），屆時蘋果將展示最新的 iOS/iPadOS 18、macOS 15 等系統(tǒng)更新。

責(zé)任編輯：張薇