生成AIやAIエージェントの活用拡大に伴い、GPUサーバの需要が高まっている。こうしたなか、AIインフラに特化した「ネオクラウド」が、新たな選択肢として台頭している。本稿では、ネオクラウドの特徴と利点、課題を整理し、AIインフラの使い分けについて考察する。
生成AIやAIエージェントの活用拡大に伴い、企業の計算資源需要が高まっている。特に、ファインチューニング、独自モデルの開発、大規模な推論処理では、処理するデータ量やモデル規模が拡大し、CPUだけでは必要な性能や処理時間を確保することが難しくなっている。そのため、大量の演算を並列処理できるGPUの重要性が高まり、GPUサーバの利用拡大を後押ししている。
ITRが、国内企業のITインフラ責任者および管理者を対象に実施した『ITインフラ動向調査2025』において、GPUサーバの使用状況について問うたところ、「クラウドサービスで使用中」が24％、「オンプレミスサーバで使用中」が10％となった（図1）。両者を合わせると、34％の企業がすでにGPUサーバを使用しており、GPUの利用は一部のAI先進企業だけのものではなくなりつつある。また、「導入を計画中」が38％となっており、GPUサーバの需要はさらに拡大していくとみられる。
現在の使用形態としては、クラウドサービスがオンプレミスサーバを上回っている。オンプレミスのGPUサーバは、高額であるだけでなく、設置にあたっては大容量の電力や強力な冷却設備、高速ネットワーク、高性能ストレージなども必要になる。これらを自社で調達することなく、必要な計算資源を短期間で使用できる点が、GPUクラウドサービスが選択される一因になっていると考えられる。