Gemma 4 TFD Agentic Trajectories 에이전트 소프트웨어 엔지니어링 궤적 데이터셋

데이터셋 개요

Gemma 4 Tfd Agentic Trajectories는 에이전트형 소프트웨어 엔지니어링 작업을 위한 실행 궤적 및 벤치마크 평가 데이터셋으로, Google Gemma 4 모델을 중심으로 구축되었습니다. 이 데이터셋은 에이전트가 소프트웨어 엔지니어링 문제를 해결하는 과정의 실행 절차와 테스트 피드백을 기록하여 코드 디버깅 및 수정 작업에서 다양한 에이전트 전략의 성능을 평가하는 것을 목표로 합니다.

이 데이터셋은 SWE-bench Lite를 기반으로 변형된 작업으로 구성되어 있으며, 50개의 소프트웨어 엔지니어링 문제를 포함합니다. 또한 다중 라운드 에이전트 실행 궤적, 도구 호출 기록, 자동화된 테스트 검증 결과, 그리고 다양한 에이전트 전략의 벤치마크 평가 데이터를 제공합니다.

데이터셋 구성

• 에이전트 실행 궤적: 에이전트가 소프트웨어 엔지니어링 문제를 해결할 때의 다중 라운드 상호작용, 작업 실행 및 코드 수정 과정을 기록하며, 문제 위치 파악부터 수정 검증까지의 실행 단계를 보여줍니다;
• 도구 호출 기록: 에이전트 실행 과정의 도구 호출 정보를 포함하며, 코드 검색, 파일 조작, 테스트 실행 등의 단계가 관련되어 있습니다. 이를 통해 에이전트의 작업 흐름 및 실행 전략을 분석할 수 있습니다;
• 테스트 피드백 및 검증 결과: 자동화된 단위 테스트 피드백과 검증 정보를 제공하여 코드 수정이 작업 요구 사항을 충족하는지 평가하고, 에이전트가 테스트 결과에 따라 후속 수정을 수행하는 과정을 확인하는 데 사용됩니다;
• 벤치마크 평가 데이터: benchmark_summary.csv 등의 파일을 통해 다양한 에이전트 전략의 작업 평가 결과를 제공합니다. 여기에는 표준 ReAct 및 테스트 피드백 기반(TFD-Agent) 전략 등이 포함되며, 작업 해결률과 실행 효율을 비교하는 데 사용됩니다;
• 평가 및 재현 리소스: 에이전트 궤적 파일, 벤치마크 평가 데이터 및 관련 설명을 제공하여 에이전트형 소프트웨어 엔지니어링 작업 연구, 전략 비교 및 실험 재현을 지원합니다.