計(jì)算機(jī)行業(yè)算力租賃專題研究報(bào)告：大模型發(fā)展的關(guān)鍵引擎，看好AI算力高景氣持續(xù).pdf

計(jì)算機(jī)行業(yè)算力租賃專題研究報(bào)告：大模型發(fā)展的關(guān)鍵引擎，看好AI算力高景氣持續(xù)。GPU為驅(qū)動(dòng)AI技術(shù)發(fā)展以及應(yīng)用落地的關(guān)鍵引擎，大模型訓(xùn)練、微調(diào)、推理催生大量AI算力需求，英偉達(dá) A100與H100供不應(yīng)求，在此背景下，AI算力租賃需求爆發(fā)。我們認(rèn)為由于下游大模型無(wú)論是技術(shù)側(cè)還是 應(yīng)用側(cè)均呈百花齊放發(fā)展趨勢(shì)，而上游AI算力資源作為重要支撐，稀缺性凸顯，算力租賃市場(chǎng)需求將持續(xù) 旺盛，未來(lái)成長(zhǎng)空間廣闊。1）根據(jù)英偉達(dá)與微軟聯(lián)合發(fā)布的論文，理論情況下用1個(gè)月訓(xùn)練出1750億參數(shù) 大模型需要1024張A100，而訓(xùn)練萬(wàn)億參數(shù)GPT-4所需的A100卡可能達(dá)到萬(wàn)張量級(jí)；2）ChatGPT迎重大更新， 微軟Copilot即將全面開放，大模型應(yīng)用進(jìn)一步走向?qū)嵦?。我們測(cè)算，大模型推理側(cè)GPU需求具備更大的增 長(zhǎng)空間，未來(lái)每家龍頭大模型廠商推理側(cè)A100需求有望達(dá)到十萬(wàn)張量級(jí)。

大模型訓(xùn)練中的故障與中斷問(wèn)題對(duì)GPU集群的質(zhì)與量提出了更高要求，云廠商的核心競(jìng)爭(zhēng)力體現(xiàn)在資金、 軟硬件、下游客戶等多個(gè)層面。根據(jù)Meta團(tuán)隊(duì)訓(xùn)練實(shí)踐，雖然英偉達(dá)GPU具有優(yōu)異的計(jì)算性能，但軟、硬 件等故障時(shí)常發(fā)生，各類任務(wù)頻繁重啟，訓(xùn)練經(jīng)常中斷，持續(xù)時(shí)間較短，理論上1個(gè)月能完成的訓(xùn)練實(shí)際 用了3個(gè)月。所以云廠商不僅需要打造大規(guī)模算力集群以滿足客戶需求，還需具備強(qiáng)算力運(yùn)維能力以幫助 客戶最大化利用已有的算力資源。我們認(rèn)為現(xiàn)階段云廠商的核心競(jìng)爭(zhēng)力在于AI算力規(guī)模，而在未來(lái)，云服 務(wù)能力將成為各大廠商搶占市場(chǎng)與客戶的關(guān)鍵。