在過去三年里,AI 領域取得了顯著進步,這一飛躍主要得益于基礎模型的發展。這些模型在大規模多模態數據上進行訓練,并在公開發布后取得了巨大成功。
然而,基礎模型的研究需要大量的數據、算力和人力資源。這一問題引發了廣泛關注與討論,更大的資源獲取是否會直接帶來更有影響力的研究成果,例如更多的論文發表或更高的引用量。
這一問題的答案對于資源分配策略、研究方向的優先級設定,以及如何保障基礎模型研究的公平與可持續參與,都具有重要意義。
然而,由于缺乏統一的資源披露標準,研究成本往往難以量化。在缺乏全面公開的情況下,研究經費最直觀的衡量方式,通常是購買或租用硬件(如計算集群或芯片)的具體成本。當然,研究還包括軟件、云存儲服務以及專業平臺等其他開支。
在這些資源中,GPU 是一個尤其關鍵的指標,因為它是一種供應量有限、受嚴格控制的資源。
在本文中,來自 MIT、劍橋等機構的研究者研究了硬件資源與 AI/ML 領域頂級會議論文發表之間的關系。他們重點考察了兩種計算能力指標:GPU 數量和 TFLOPs(每秒浮點運算次數),并將這些數據與 2022 至 2024 年間共 34,828 篇錄用論文進行關聯分析。
本文共識別出 5,889 篇基礎模型相關論文,并發現 GPU 獲取能力越強,其在八個頂級會議中的論文接收率和引用量也越高。
此外,本文還對 312 篇論文的 229 位作者進行了問卷調查后發現:
- 大多數基礎模型論文由學術界研究者撰寫(共 4,851 篇),而產業界研究者的論文數量相對較少(1,425 篇);
- 大多數論文使用的是開源模型(如 LLaMA),其次是閉源模型(如 GPT);
- GPU 使用信息在論文中很少被披露,這表明當前亟需制定統一的計算資源報告規范,以提升研究的透明度與可復現性。
