AI開発スタートアップのMoondreamは、大規模言語モデル推論時のGPUアイドル現象を解消する推論エンジンPhotonの最適化技術を開示した。同社は、GPUの計算処理とCPUの管理作業が逐次実行される従来のアーキテクチャに起因する非効率を解消し、パイプライン推論を採用することで大幅な処理速度向上を実現したと報告している。 従来のテキスト生成プロセスでは、トークンごとにCPUがGPUにタスクを割り当て、完了を待ってから次の処理へ移行するブロック方式が一般的であった。これにより、GPUはCPUのメタデータ準備や結果同期中にアイドル状態に陥り、パフォーマンスが低下していた。MoondreamのPhotonは、CPUの管理作業とGPUの計算処理を並列実行するパイプライン方式へ転換した。具体的には、2つのバッファスロットを交互に使用するピンポンバッファ方式によりデータ競合を回避しつつ、現在の推論結果のCPU反映と次の推論のGPU実行を同時進行させる。これにより、GPUは待機時間を最小限に抑え、連続した計算ストリームを維持している。 技術的な実装では、制約付きデコーディングに対応するため、推論とサンプリングを分離するフォワード先送り手法を導入した。また、処理が完了したリクエストのメモリ解放を遅延させつつ、リファレンスカウントによるリソース管理を行い、中途半端なキャンセルロジックを排除している。さらに、プロンプト処理とトークン生成を同一パイプラインで統合管理することで、短い出力を多数処理するワークロードでもCPUオーバーヘッドを効率的に分散させる設計となっている。 性能ベンチマークによると、NVIDIA RTX 3090およびB200シリーズ上でのテストでは、ストリーム数とGPU性能に応じて推論速度が最大約39％向上した。高速化の寄与は、GPUメモリの帯域拡充やモデルの軽量化に伴い、相対的に管理オーバーヘッドの比率が高まる傾向にあるため、今後さらに顕著になる見込みだ。同社は、パイプライン最適化単体ではなく、画像処理のタイル分割、カスタムカーネル、スケジューリング改善など複数の技術が積層されることで総合的な高速化を達成していると説明している。 Moondreamは今後、PhotonのメジャーアップデートであるPhoton 2.0のリリースを計画しており、推論スタック全体のさらなる最適化と性能拡大を見据えている。業界では、推論コストの圧縮とリアルタイム生成の需要が高まる中、CPUとGPUの同期ボトルネックを解消する技術が次世代AIインフラの設計標準へと移行しつつある。