SWE-Serveがローカルテストと本番実行の格差を暴く

大規模言語モデルの推論サービング用ソフトウェアを評価するための新ベンチマーク「SWE-Serve」が、SGLangチームの協力を経て公開された。同ツールは、AIプログラミングエージェントがローカルテストでは合格しても、実際のサービング環境での運用時に失敗する可能性を定量的に浮き彫りにすることを目的としている。 SWE-ServeはSGLangの83件のマージ済みプルリクエストを基に作成された53のタスクで構成され、推論パイプラインの全体像を網羅する。モデル統合、デコード、キャッシュ、スケジューリング、API、ランタイム性能など6つのカテゴリに分かれ、19タスクでは実際のサーバー起動と公開インターフェースを通じた本番環境同様の検証を実施する。評価結果から、ライブサービングテストを除外した場合の合格率は69.4%であったが、完全な検証環境では45.9%まで下落。ローカルテストを通過したパッチの約3割が実運用段階で失敗することが実証された。 検証プロセスは閉鎖環境で実施され、エージェントは公開インターネットや外部リポジトリへのアクセスが制限される。単一ドメインに限定されたタスクの合格率は69.0%に対し、複数ドメインにまたがるタスクは47.7%にとどまり、推論パイプラインの統合難易度が明確に示された。 11種類のモデルをミニマルなエンジニアリングエージェントで評価した結果、Claude Opus 5とGPT-5.6 Solが75%前後の最高合格率を記録した。同等の合格率を示すモデル間でも、タスクあたりの平均コストと所要時間には大きな開きが見られ、高価格モデルが全カテゴリで優位なわけではない。モデル固有の得意分野とリソース効率のトレードオフが確認されている。 SWE-Serveは従来のローカルテストに依存した評価の限界を指摘し、推論サービングの全体パスを考慮した検証の必要性を提起する。ベンチマーク環境と評価コードはGitHub上で公開されており、開発者は自社のプログラミングエージェントを本格的な推論環境で評価できる。この取り組みは、AI支援開発ツールの実環境適合性を高めるための新たな評価基準として、業界に重要な指針を提供する。