Große Sprachmodelle können sich selbst verbessern

Große Sprachmodelle (LLMs) haben hervorragende Leistungen in verschiedenen Aufgaben erzielt. Die Feinabstimmung eines LLM erfordert jedoch umfangreiche Aufsicht. Menschen hingegen können ihre Schlussfolgerungsfähigkeiten durch eigenes Denken verbessern, ohne externe Eingaben zu benötigen. In dieser Arbeit zeigen wir, dass auch ein LLM sich selbst mit lediglich unlabeled Datensätzen verbessern kann. Wir nutzen ein vortrainiertes LLM, um mithilfe von Chain-of-Thought-Prompting und Self-Consistency „hochzuverlässige“, mit Begründungen angereicherte Antworten für unlabeled Fragen zu generieren, und feinabstimmen das LLM anhand dieser selbstgenerierten Lösungen als Zieloutputs. Wir zeigen, dass unsere Methode die allgemeine Schlussfolgerungsfähigkeit eines LLM mit 540 Milliarden Parametern verbessert (GSM8K: 74,4 % → 82,1 %, DROP: 78,2 % → 83,0 %, OpenBookQA: 90,0 % → 94,4 %, ANLI-A3: 63,4 % → 67,9 %) und dabei leistungsstarke Ergebnisse erzielt, ohne dass echte Labels benötigt werden. Wir führen Ablationsstudien durch und belegen, dass die Feinabstimmung auf Schlussfolgerungsfähigkeit entscheidend für die Selbstverbesserung ist.