面向AI大模型的智算中心網(wǎng)絡(luò)演進(jìn)白皮書

來源：中國移動(dòng)研究院時(shí)間：2023-05-12 15:53:11 作者：

　　人工智能是數(shù)字經(jīng)濟(jì)的核心驅(qū)動(dòng)力，AI大模型是人工智能的新引擎。AI大模型指通過在海量數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，能夠適應(yīng)多種下游任務(wù)的模型，具有強(qiáng)大的泛化能力、自監(jiān)督學(xué)習(xí)功能和精度突破性能。其已經(jīng)在自然語言處理、計(jì)算機(jī)視覺、氣象預(yù)報(bào)等多個(gè)領(lǐng)域取得了令人矚目的成果。大模型的發(fā)展是大勢(shì)所趨，未來將會(huì)助推數(shù)字經(jīng)濟(jì)，為智能化升級(jí)帶來新范式。

　　近年來，隨著ChatGPT等生成式人工智能（AIGC）的突飛猛進(jìn)，全球范圍內(nèi)的經(jīng)濟(jì)價(jià)值預(yù)計(jì)將達(dá)到數(shù)萬億美元。尤其在中國市場(chǎng)，生成式AI的應(yīng)用規(guī)模有望在2025年突破2000億元。這一巨大的潛力不僅吸引著業(yè)內(nèi)領(lǐng)軍企業(yè)競(jìng)相推出萬億、10萬億參數(shù)量級(jí)別的大模型，而且對(duì)底層GPU支撐規(guī)模提出了更高的要求，達(dá)到了萬卡級(jí)別。然而，如何滿足如此龐大規(guī)模的訓(xùn)練任務(wù)，對(duì)網(wǎng)絡(luò)的規(guī)模、性能、可靠性和穩(wěn)定性等方面提出了前所未有的挑戰(zhàn)。

　　以GPT3。5為例，其訓(xùn)練過程依賴于微軟專門建設(shè)的AI超算系統(tǒng)，由1萬個(gè)V100GPU組成的高性能網(wǎng)絡(luò)集群，總計(jì)算力消耗約為3640PF-days。在這種情況下，尋求提供極致高性能網(wǎng)絡(luò)已成為人工智能領(lǐng)域的重要研究方向之一。

　　日前，針對(duì)AI大模型帶來的挑戰(zhàn)，中國移動(dòng)聯(lián)合華為、中興、銳捷、思博倫、云脈芯聯(lián)、星云智聯(lián)、中科馭數(shù)、博通公司、是德科技、大禹智芯等十余家合作伙伴發(fā)布《面向AI大模型的智算中心網(wǎng)絡(luò)演進(jìn)白皮書》。

　　本白皮書將從AI業(yè)務(wù)發(fā)展的歷程出發(fā)，深入研究大模型對(duì)網(wǎng)絡(luò)能力的需求，分析當(dāng)前網(wǎng)絡(luò)與業(yè)務(wù)需求的差距，并探索網(wǎng)絡(luò)技術(shù)發(fā)展趨勢(shì)以彌補(bǔ)這一差距。我們希望，通過本白皮書的研究和分析，為未來面向AI大模型的智能計(jì)算中心網(wǎng)絡(luò)發(fā)展提供有益的參考和啟示。

　　具體內(nèi)容如下