LOGO

米NVIDIAは2025年3月、年次開発者会議「GTC」を開催し、AIの進化が「学習」から「推論」へとシフトしている現状を背景に、推論処理に特化した新ソフトウェア「Dynamo」を発表しました。

これまで学習向け技術に強みを持っていた同社は、推論においても自社のハードウェアとソフトウェアが不可欠であると強調。CEOのジェンスン・ファン氏は、推論処理の高速化がAIサービスの質を左右する鍵であると訴えました。

新ソフトウェア「Dynamo」の特徴

Dynamoはオープンソースで提供され、複数のGPUを効率的に連携させることで推論処理を高速化します。最新のGPUアーキテクチャ「Blackwell」と組み合わせることで、中国のAI企業DeepSeekのAIモデル「R1」の処理速度を従来比30倍にまで引き上げることが可能だということです。

中核的な特徴は「細分化サービング」と呼ばれる手法で、推論処理を「プリフィル」と「デコード」の2フェーズに分離して別々のGPUに割り当て、処理効率を大幅に改善します。

また、「KVキャッシュ」と呼ばれる技術を活用し、過去のトークン情報を記憶・再利用することで計算量を削減。Dynamoに搭載された「KVキャッシュマネージャ」により、GPUメモリの限界を超えないように効率的なキャッシュ運用が可能です。

トレードオフ問題とハードウェアの進化

ファンCEOは基調講演で、推論における「1秒あたりの全体トークン数（処理量）」と「ユーザーごとのトークン数（速度）」のトレードオフ関係を紹介。応答速度を速めればユーザー数が制限され、ユーザー数を増やせば応答遅延が発生するというジレンマが浮き彫りとなっています。

これに対しNVIDIAは、ハードウェア強化によってこのトレードオフを打破する戦略を掲げました。新たに発表された「Blackwell」は従来の「Hopper」と比較して最大25倍の処理能力を持ち、質と量の両立を可能にします。

今後も堅調なAI関連データセンター投資

AIの利用フェーズが推論中心へと変化する中で、演算処理の需要は飛躍的に増加しています。NVIDIAは「Blackwell」に続き「Rubin」や「Feynman」など、さらに高性能なGPUの開発計画を明らかにしており、それらに対応したソフトウェア基盤としてDynamoも進化しています。

このような高密度・高性能なAI処理を支えるためには、分散型かつ大規模な計算環境が不可欠です。すなわち、AIエージェントや生成AIの拡大にともない、それを支えるインフラとしてのデータセンターへの投資は今後も堅調に推移すると見込まれます。