Feinabstimmung Des Datensatzes Für Die GOAT-Rechenaufgabe

Dieser Datensatz wurde 2023 von Forschern der National University of Singapore veröffentlicht.Goat: Fein abgestimmtes LLaMA übertrifft GPT-4 bei Rechenaufgaben". Der Datensatz enthält zwei Dateien: dataset.json und dataset.ipynb. Die Datei dataset.json enthält etwa 1,7 Millionen synthetische Daten für Rechenaufgaben, die von dataset.ipynb generiert wurden.

Jede Instanz im Datensatz enthält Folgendes:

• Anweisung: Von Menschen erstellte Anweisungen, die durch Einfügen arithmetischer Ausdrücke in zufällig ausgewählte Vorlagen und Hinzufügen einiger natürlicher Sprachgeräusche gebildet werden. Es dient als Eingabeaufforderung und wird zur Feinabstimmung der Anweisungen des Modells verwendet.
• eingeben: Ein zufällig generierter arithmetischer Ausdruck. Es kann als Ersatz für „Anweisungen“ beim Training verwendet werden, wenn wir uns auf die Arithmetik konzentrieren und den Einfluss der natürlichen Sprache vermeiden möchten.
• Ausgabe: Die Zielausgabe des Modelllernens. Es enthält Chained Thoughts (CoTs) für die Multiplikation und Division mehrstelliger Zahlen.
• Antwort: Direkte numerische Antworten auf Rechenaufgaben. Damit lässt sich die Lernfähigkeit verschiedener Teilaufgaben testen.