Nemotron-Cascade-SFT-SWE ist ein von NVIDIA veröffentlichtes Trainingsdatenset für Softwareentwicklungsaufgaben. Die zugehörige Forschungsergebnis ist „Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models", das darauf abzielt, die Fähigkeiten großer Sprachmodelle bei Softwareentwicklungsaufgaben wie Code-Lokalisierung, Code-Reparatur und Testfallgenerierung zu verbessern.

Dieses Datenset integriert Daten aus mehreren Quellen, darunter SWE-Bench-Train, SWE-reBench, SWE-Smith, R2E-Gym/R2E-Gym-Subset und SWE-Fixer-Train, und führt eine Schwierigkeitsfilterung sowie Stichprobenanpassung basierend auf den Trainingsanforderungen für überwachtes Feintuning (SFT) und Reinforcement Learning (RL) durch. Um das Risiko einer Kontamination der Bewertungsdaten zu verringern, schließt das Datenset Instanzen aus, die aus Code-Repositories stammen, die im SWE-Bench_Verified-Bewertungsset enthalten sind.

Datensatzzusammensetzung

Das Datenset enthält die folgenden drei JSONL-Dateien:

• swe_localization.jsonl: Code-Lokalisierungsaufgaben, die zum Lokalisieren von Codedateien verwendet werden, die überprüft oder geändert werden müssen.
• swe_repair.jsonl: Code-Reparaturaufgaben, die zum Generieren von Code-Reparaturlösungen verwendet werden.
• swe_testgen.jsonl: Testfallgenerierungsaufgaben, die zum Generieren von Testfällen zur Überprüfung des Codeverhaltens verwendet werden.

Jede Stichprobe enthält hauptsächlich die folgenden Felder:

• category: Aufgabenkategorie, einschließlich SWE Localization, SWE Repair und SWE TestGen.
• source: Ursprüngliche Datenquelle.
• messages: Nachrichtenliste, die Benutzeraufforderungen und Modellantworten enthält.
• generator: Name des Modells, das zur Generierung der Modellantwort verwendet wurde.
• patch: Kommentarinformationen im Zusammenhang mit dem betreffenden Issue, die sich auf Kommentare beziehen, die vor dem ersten Commit des Lösung-PRs veröffentlicht wurden.
• thinking: Boolescher Wert, der angibt, ob der Denkmodus verwendet wird.