Nemotron Terminal Synthetic Tasks는 NVIDIA가 2026년에 출시한 데이터셋으로, 실제 Linux 터미널 환경에서 자율 에이전트의 기술 수행 능력을 평가하고 훈련하는 데 중점을 두고 있습니다. 스킬 합성 기반의 작업을 포함하며, 복잡한 명령줄 상호작용에서 에이전트의 추론 및 실행 능력을 향상시키는 것을 목표로 합니다.

데이터셋 구성

데이터셋의 각 작업은 독립적인 디렉토리에 저장되며, 구조화된 작업 조직 방식을 채택하고 있습니다. 주로 다음 세 가지 구성 요소로 이루어져 있습니다:

• 지시사항(Instruction): instruction.md 파일을 통해 자연어로 작업 목표를 설명하며, 구체적인 요구사항, 파일 경로 및 제약 조건을 포함하여 에이전트가 지정된 작업을 완료하도록 안내합니다.
• 환경 컨텍스트(Environment Context): 표준화된 Docker 환경을 사용하며, 데이터 과학, 보안 등 다양한 시나리오를 포괄하는 9가지의 사전 구축된 도메인 특화 이미지를 제공합니다. 에이전트는 격리된 컨테이너 환경과 tmux 세션에서 작업을 실행하며, 기본 이미지를 공유하여 리소스 오버헤드를 줄입니다.
• 검증 스위트(Verification Suite): tests/test.sh 스크립트 및 pytest 등의 프로그래밍 방식 검증 메커니즘을 통해 작업 완료 여부를 확인합니다. 검증 내용에는 종료 코드, 출력 파일의 존재 여부, 파일 형식의 요구사항 준수 여부 및 수치 결과의 정확성 여부가 포함됩니다.