IBMリサーチは、エンタープライズJavaアプリケーションのフレームワーク移行を評価するためのオープンベンチマーク「ScarfBench」を発表した。大規模な業務システムのリモデリングは維持管理の向上やクラウド対応を目的として頻繁に実施されるが、その複雑性とコストは依然として課題となっている。近年のコーディングAIエージェントの進歩は期待を集めているものの、実際のシステム移行における信頼性は検証が必要であった。ScarfBenchは従来のコード生成評価の限界を乗り越え、フレームワーク間の移行品質を実用的な基準で測定することを目的として構築された。 本ベンチマークはSpring、Jakarta EE、Quarkusの三大Javaエコシステム間の移行に焦点を当てている。従来の手法が生成コードと正解実装を比較するのに対し、ScarfBenchはビルド成功、デプロイ、既存動作の維持という実運用基準で評価を行う。現在34のアプリケーション、102の移行タスク、約15万行のソースコード、および1,331件の専門家が記述したテストケースが含まれており、単一ファイルの変換から全体移行まで網羅している。 最先端のAIエージェントを対象とした試験結果は、エンタープライズ移行がいかに複雑かを浮き彫りにした。最も先進的なエージェントでも、動作の一貫性を維持する成功率は10％に満たなかった。ビルド成功率はデプロイ成功率を、デプロイ成功率は動作検証成功率を上回り、コンパイルが可能なコードの生成と実際の運用に耐えうる移行は別次元の課題であることを示した。また、エージェントの自己評価は過度に楽観的であり、エージェント自身が完了と報告したプロジェクトの大半で実際にビルドエラーが発生する事例が確認された。独立した検証プロセスの重要性が再確認された。 分析により、移行作業は線形的なソースコードの変換ではなく、依存関係の解決を伴う反復プロセスであることが判明した。エージェントが最も多くの時間を費やすのは設定ファイルや依存関係の調整であり、環境構築やツールチェーンの不整合も移行失敗の主要因の一つであった。現代のフレームワークマイグレーションが直面する最大の課題は、Javaコード自体の変換ではなく、設定、インフラ、ランタイム環境を跨ぐ依存関係の管理にある。 ScarfBenchは研究者や実務者がAIエージェントの移行能力を客観的に比較・評価できる標準的な基盤を提供する。ハッフルフェイスや専用ウェブサイトを通じて公開されており、オープンなコミュニティによるベンチマークの拡張と、自律的なアプリケーション現代化に向けたAI支援技術の飛躍的な進捗が期待されている。