DS-1000-Benchmark-Datensatz Zur Codegenerierung

DS-1000 ist ein Benchmark-Datensatz im Bereich der Codegenerierung, der 2022 gemeinsam von der Universität Hongkong, der Peking-Universität und anderen Universitäten veröffentlicht wurde. Der Schwerpunkt liegt auf Codegenerierungsaufgaben im Bereich der Datenwissenschaft. Die relevanten Papierergebnisse sind "DS-1000: Ein natürlicher und zuverlässiger Benchmark für die Codegenerierung in der Datenwissenschaft".

Der Datensatz enthält 1.000 reale Data-Science-Fragen von StackOverflow und deckt 7 weit verbreitete Data-Science-Bibliotheken in Python ab, wie z. B. NumPy, Pandas, TensorFlow usw. Diese Probleme spiegeln nicht nur die Vielfalt und Praktikabilität in der realen Welt wider, sondern gewährleisten auch die Zuverlässigkeit und Richtigkeit der Lösungen durch eine automatische Bewertungsmethode mit mehreren Kriterien. Bei der Entwicklung von DS-1000 wurde besonders darauf geachtet, dass das Modell durch oberflächliche und semantische Störungen und schwierige Umschreibungen nicht einfach die Trainingsdaten auswendig lernt, sondern dass das Modell die Frage wirklich verstehen muss, um die richtige Antwort zu liefern.

Die Struktur des Datensatzes ist sehr übersichtlich. Die Fragen unter jeder Bibliothek werden in zwei Eingabeformaten dargestellt: Vervollständigung und Einfügung. Jede Frage enthält Metainformationen, Eingabedaten, Referenzcode, Testcode usw. Dieses Design macht den Datensatz sowohl vollständig als auch überprüfbar. DS-1000 verfügt über ein breites Spektrum an Anwendungsszenarien und kann von der automatischen Codevervollständigung über Bildung und Lernen bis hin zur Leistungsbewertung eine wichtige Rolle spielen.