Nemotron-Cascade-SFT-SWE는 NVIDIA가 소프트웨어 엔지니어링 작업을 위해 공개한 학습 데이터셋으로, 관련 논문은 「Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models」에 게재되었으며, 대규모 언어 모델의 코드 위치 탐색, 코드 수정, 테스트 케이스 생성 등 소프트웨어 엔지니어링 작업 능력을 향상시키는 것을 목표로 합니다.

이 데이터셋은 SWE-Bench-Train, SWE-reBench, SWE-Smith, R2E-Gym/R2E-Gym-Subset, SWE-Fixer-Train 등 여러 출처의 데이터를 통합하고, 지도 미세 조정(SFT) 및 강화 학습(RL) 학습 요구에 따라 난이도 필터링과 샘플 조정을 수행합니다. 평가 데이터 오염 위험을 줄이기 위해, 데이터셋은 SWE-Bench_Verified 평가 세트에 포함된 코드 저장소에서 파생된 인스턴스를 제외합니다.

데이터셋 구성

데이터셋은 다음 세 개의 JSONL 파일을 포함합니다:

• swe_localization.jsonl: 코드 위치 탐색 작업으로, 검사하거나 수정해야 할 코드 파일을 찾는 데 사용됩니다.
• swe_repair.jsonl: 코드 수정 작업으로, 코드 수정 방안을 생성하는 데 사용됩니다.
• swe_testgen.jsonl: 테스트 케이스 생성 작업으로, 코드 동작을 검증하는 테스트 케이스를 생성하는 데 사용됩니다.

각 샘플은 주로 다음 필드를 포함합니다:

• category: 작업 범주로, SWE Localization, SWE Repair, SWE TestGen을 포함합니다.
• source: 원본 데이터 출처.
• messages: 사용자 프롬프트와 모델 응답을 포함하는 메시지 목록.
• generator: 모델 응답을 생성하는 데 사용된 모델 이름.
• patch: 관련 Issue에 대한 댓글 정보로, 솔루션 PR의 첫 커밋 전에 게시된 댓글을 의미합니다.
• thinking: 불리언 값으로, 사고 모드 사용 여부를 표시합니다.