0G、中国移動と分散型インフラで1070億パラメータのAIモデルを訓練

0Gは中国移動（チャイナ・モバイル）と協力し、分散型インフラを用いて1070億パラメータのAIモデルを訓練した。これは、集中型データセンターのクラスターを使用せずに1000億を超えるパラメータを持つモデルが開発された初めての事例となる。

「この規模での分散型トレーニングは、大規模モデルの開発にハイパースケールのGPUファームへの独占的アクセスがもはや必要ないことを証明している」と、0G Labsの共同創業者マイケル・ハインリッヒ氏は述べた。「未活用のコンピューティング容量を抱える通信事業者は、今やAIサプライチェーンに参加できるようになった。」

このモデルは、0Gの分散型トレーニングフレームワークを使用して訓練された。このフレームワークはDiLoCoX方式を採用しており、0G Labsの研究によれば、従来の分散型アプローチと比較して最大357倍高速にモデルを訓練できる。帯域幅がわずか1ギガバイトのネットワークでも可能である。単一のデータセンターではなく、中国移動の既存インフラ全体に計算負荷を分散することで、このプロジェクトは、AI開発を少数のハイパースケーラーに制限してきた集中型GPUクラスターという従来のボトルネックを回避した。

分散型トレーニングがエンタープライズAIにとって重要な理由

この成果は、AI業界の構造的な問題に対処するものである。大規模モデルの訓練には、GPUクラスターへの巨額の初期設備投資が必要であり、最も富裕なテクノロジー企業以外は参入できなかった。分散型トレーニングは、ネットワークに接続されたあらゆるコンピューティングリソースを潜在的なトレーニングノードとして扱うことで、このモデルを覆す。広大でありながらアイドル状態のコンピューティングインフラをネットワーク全体に保有する中国移動のような通信事業者にとって、これは既存資産から新たな収益源を生み出すことになる。

このアプローチはまた、供給制約や輸出規制に直面しているエヌビディアのH100およびB200 GPUへの依存度を低減する。分散ネットワーク全体で異種コンピューティングリソースを集約することにより、0Gのフレームワークは均一なGPUクラスターを必要とせず、様々なハードウェアタイプを組み合わせてモデルを訓練できる。これにより、2000億ドル規模のデータセンターGPU市場への圧力が緩和される可能性がある。この市場では、エヌビディアの最新チップのリードタイムが12ヶ月を超えて延びている。

しかし、データの準備態勢は依然として障壁である。ガートナーは、2026年までにAIプロジェクトの最大60%が、データの断片化やサイロ化のために中止される可能性があると推定している。この問題は分散型トレーニングだけでは解決できない。このアプローチを採用しようとする企業は、分散型コンピューティングの恩恵を受ける前に、まずデータインフラを統合する必要がある。

AIインフラスタックへの競争上の影響

0Gと中国移動による今回のマイルストーンは、エヌビディアや主要クラウドプロバイダーが推進する集中型トレーニングモデルに挑戦するものだ。分散型トレーニングが普及すれば、ハイパースケーラーのGPU-as-a-Serviceから、通信事業者やエッジプロバイダーが遊休容量を収益化する、より断片化された市場へと調達パターンが移行する可能性がある。

コンピューティングリソースをトークン化する2つのプロジェクト、BittensorとRender Networkは、企業が分散型の代替手段を模索するにつれて需要が増加する可能性がある。分散型インフラ全体でモデルを訓練できる能力は、欧州連合や中国など、データ主権に関する規制圧力が高まっている地域において、集中型の国境を越えたトレーニングを困難にしている状況とも合致する。

投資家にとって、この開発はAIインフラに関する投資テーゼに新たな変数をもたらす。エヌビディアのデータセンター収益は、最新会計年度で475億ドルに達したが、これは大規模モデルの訓練には集中型GPUクラスターが必要であるという前提に基づいて構築されてきた。分散型手法が大規模に実用可能であることが証明されれば、集中型AIコンピューティングの総アドレス可能市場（TAM）は縮小し、分散型リソースを集約できるインフラプロバイダーに利益がもたらされる可能性がある。

本記事は情報提供のみを目的としており、投資助言を構成するものではない。