打造一個AI大模型,需要多少算力?

在席卷全球的AI熱潮中,一個不容忽視的潛在阻力是算力的不足。算力是AI發展的基礎設施,AI訓練需要將數據集進行重復多輪處理,算力的大小代表著對數據處理能力的強弱。

據OpenAI測算,2012年開始,全球AI訓練所用的計算量呈現指數增長,平均每3.43個月便會翻一倍,目前計算量已擴大30萬倍,遠超算力增長速度。隨著百度、360、華為等公司紛紛入局AI領域,國內廠商對算力的需求將迎來井噴。

綜合OpenAI的研究經驗,以及中國企業大模型的研發進度等因素,廣發證券分析師劉雪峰等對國內AI大模型的訓練和推理階段算力需求,以及相應的成本進行了測算。

算力需求

首先,分析師根據GPT-3的數據測算了國內AI大模型訓練和推理所需的AI服務器需求。

分析師認為:

根據商湯招股說明書的數據,GPT-3的大模型的所需要訓練355個GPU-年。在當前各家公司推出AI大模型意願較強的背景下,我們認為科技公司用於訓練AI大模型的時間為1個月,因此其需要訓練AI大模型的AI加速卡的數量為4260個。我們認為,AI大模型有望成為各科技廠商競爭的關鍵領域,因此假設國內有意願開發AI大模型的公司有10個,則由於AI大模型訓練而新增的AI加速卡需求空間為4.3萬個,國內由於AI大模型訓練而新增的AI服務器的需求空間約為5325臺《本文均假設單臺AI服務器搭載8個AI加速卡》。根據英偉達官網的數據,A100針對於BERT類的AI大模型可實現每秒推理1757次,因此可假設單片A100用於AI大模型每秒生成1757個單詞,與單次客戶需要生成的內容數量相當。截止2023年3月27日,百度『文心一言』已收到12萬家企業申請測試。我們預計,國產『類ChatGPT』的訪客量規模較為龐大。2023年3月29日,在『2023數字安全與發展高峰論壇』上,三六零公司現場演示了360大語言模型在360瀏覽器上的應用。分析師認為,內容生成類應用已成為各科技廠商開發AI大模型積極探索的方向,因此假設國內未來開發並應用『類ChatGPT』AI大模型的數量為10個。針對不同情境分析師進行了以下假設:

  • 國產『類ChatGPT』的定位是僅給註冊企業內部使用,則假設每天訪問量為5000萬人次,每人與ChatGPT對話5次,由此測算下來,由於AI大模型推理而新增的AI加速卡需求空間為4.3萬個,新增的AI服務器需求空間為5425臺。
  • 國產『類ChatGPT』的定位是面向個人用戶開放使用,則分別假設每天訪問量為1億或3億人次,每人與ChatGPT對話5次,由此測算下來,由於AI大模型推理而新增的AI加速卡需求空間為8.7萬或26.0萬個,新增的AI服務器需求空間為1.1萬或3.3萬臺。

因此,樂觀假設下,國內AI大模型在訓練與推理階段或將產生相當於1.1萬臺或3.8萬臺高端AI服務器的算力需求。

成本測算

此外,分析師強調,多模態大模型是AI大模型的發展方向,應用前景廣闊。今年以來,全球多家科技廠商陸續發佈多模態大模型,如google的PaLM-E大模型、OpenAI的GPT-4大模型以及百度的『文心一言』大模型。

相較於自然語言類模型,多模態模型在訓練階段融合了文字、圖像、三維物體等多維度數據的訓練,可交互的信息類型較多,通用性得到了大大增強。分析師參考OpenAI和百度的AI大模型的收費標準後,對各行業用戶用於生成類任務的成本進行了以下假設:

  • 生成文本的價格為0.003美元/1000tokens,相當於0.02元人民幣/1000tokens《參考匯率:1美元=6.88元人民幣》。Tokens是包括了單詞、標點符號在內的字符,因此可以簡單理解為單個文字。
  • 生成圖片的價格為0.02美元/張,相當於0.15元人民幣/張。
  • 多模態大模型API開放後,各行業用戶用於內容生成類任務的使用成本敏感性分析:基於以上假設條件,我們對各行業用戶調用多模態大模型的API用於內容生成任務的成本做關於文本生成量和圖片生成量的敏感性分析。我們預計中短期內,基於多模態大模型的單日調用量的范圍預計在5000萬人次到3億人次之間。假設每天每人生成文本內容5次,每次生成文本內容為1000個tokens,則生成文本數量的范圍預計在2.5千億到15千億個tokens之間。假設每天每人生成圖片5張,則生成圖片的數量范圍預計在2.5億張-15億張。由此,我們測算出,各行業用戶調用多模態大模型的API用於內容生成任務的成本如下表所示。

    分析師也強調,AI大模型技術仍處於發展早期,技術迭代的節奏和方向處於快速變化中,在AI算力需求測算中,也需考慮由於算法優化導致AI模型消耗算力成本降低的因素。考慮到軟件優化帶來的降本提效因素,實際硬件需求和算力成本可能較此前測算的數值較低一些。

    綜上,分析師指出,在暫不考慮軟件層面算法優化帶來的模型消耗算力成本下降的前提下,國內大模型在訓練與推理階段或將產生相當於1.1萬臺或3.8萬臺《樂觀假設下》高端AI服務器的算力需求,以單片A100售價10萬元人民幣、AI加速卡價值量占服務器整機約70%計算,則對應約126億元《人民幣》或434億元增量AI服務器市場規模。

    分析師預計,前述AI服務器的增量需求或將在1-3年的維度內逐步落地。

    本文主要觀點來自廣發證券分析師劉雪峰《執業:S0260514030002》等發佈的報告《國內AI大模型的訓練和推理階段算力需求測算》,有刪節