Gemma 4 TFD Agentic Trajectories エージェント型ソフトウェア工学軌跡データセット

データセット概要

Gemma 4 Tfd Agentic Trajectories は、エージェント型ソフトウェア工学タスク向けの実行軌跡とベンチマーク評価データセットであり、Google Gemma 4 モデルを中心に構築されている。エージェントがソフトウェア工学の問題を解決する際の実行過程とテストフィードバックを記録することで、異なるエージェント戦略がコードデバッグおよび修正タスクで示すパフォーマンスを評価することを目的としている。

本データセットは SWE-bench Lite を改変したタスクに基づいて構築されており、50 件のソフトウェア工学問題を含み、複数ターンのエージェント実行軌跡、ツール呼び出し記録、自動テスト検証結果、および異なるエージェント戦略のベンチマーク評価データを提供する。

データセットの構成

• エージェント実行軌跡：エージェントがソフトウェア工学の問題を解決する際の複数ターンにわたるインタラクション、タスク実行、コード修正過程を記録し、問題の特定から修正検証までの実行ステップを提示する；
• ツール呼び出し記録：エージェント実行過程におけるツール呼び出し情報を含み、コード検索、ファイル操作、テスト実行などのステップに関わる。エージェントの操作フローと実行戦略の分析に利用できる；
• テストフィードバックと検証結果：自動ユニットテストのフィードバックおよび検証情報を提供し、コード修正がタスク要件を満たすかどうか、およびエージェントがテスト結果に基づいて後続の修正を行う過程を評価するために使用する；
• ベンチマーク評価データ：benchmark_summary.csv などのファイルを通じて、異なるエージェント戦略のタスク評価結果を提供する。標準的な ReAct やテストフィードバック駆動（TFD-Agent）などの戦略が含まれ、タスク解決率と実行効率を比較するために使用する；
• 評価と再現リソース：エージェント軌跡ファイル、ベンチマーク評価データ、関連説明を提供し、エージェント型ソフトウェア工学タスクの研究、戦略比較、実験再現をサポートする。