実証研究が解明 コーディングエージェント用ハーネス設計の最適化

自律型コーディングエージェントのハース設計に関する実証研究がarXivで公表された。既存の評価はハースを単一システムとして扱い、個別コンポーネントの効果を明確化出来ていなかった。本研究では実行ループを固定した軽量ハースを実装し、計画策定、アクション空間、コンテキスト管理の三要素を変数として分離。SWE-Bench VerifiedおよびTerminal-Bench 2.1上で4モデルを用い、176設定の網羅的ベンチマークを実施した。 主要知見は以下の通りだ。コンテキスト管理はウィンドウ予算の制限に伴い重要性が増し、主にオーバーフロー防止に寄与する。コンテキスト管理戦略では、LLM要約前のルールベース摘出を二段階適用する手法が総合効率で最優を示した。摘出内容の復元機能は複雑性を増すのみで精度向上に繋がらない。計画策定は低能力モデルでは精度基盤、高能力モデルではコスト削減の役割を果たす。アクション空間については、シェル操作に習熟していないモデルには定義済みツールが有効だが、bash対応モデルはbash単体インターフェースで同等性能を発揮し、コマンドライン中心タスクで大幅なコスト削減を実現した。 実行軌跡分析により、コンテキスト管理が動作パターンを変えず実行を延長し、計画策定が終了地点を決定し、アクション空間がコード生成粒度を調整することが実証された。本研究結果はモデル能力と予算に応じたハース設計の明確な指針を示す。モジュラーな評価枠組みを提供することで、自律型ソフトウェアエンジニアリングツールの次世代設計基準を構築する基盤となると結論付けている。