Least-to-Most Prompting ermöglicht komplexe Reasoning in großen Sprachmodellen

Die Chain-of-Thought-Prompting-Strategie hat bei verschiedenen Aufgaben des natürlichen Sprachschlusses beachtliche Leistungen gezeigt. Sie neigt jedoch dazu, schlecht abzuschneiden bei Aufgaben, die die Lösung von Problemen erfordern, die schwieriger sind als die in den Prompt-Beispielen gezeigten. Um diese Herausforderung der Übertragung von einfachen auf schwierigere Aufgaben zu bewältigen, schlagen wir eine neue Prompting-Strategie vor: die Least-to-Most-Prompting-Strategie. Der zentrale Ansatz dieser Methode besteht darin, ein komplexes Problem in eine Reihe einfacherer Teilprobleme zu zerlegen und diese sequenziell zu lösen. Die Lösung jedes Teilproblems wird durch die Antworten auf bereits gelöste Teilprobleme unterstützt. Unsere experimentellen Ergebnisse auf Aufgaben im Bereich symbolischer Manipulation, kompositorischer Generalisierung und mathematischer Schlussfolgerung zeigen, dass die Least-to-Most-Prompting-Strategie in der Lage ist, auf deutlich schwierigere Probleme zu generalisieren als die in den Prompts vorgegebenen. Ein besonders auffälliges Ergebnis ist, dass das GPT-3-Modell code-davinci-002, wenn es mit Least-to-Most-Prompting eingesetzt wird, die Benchmark für kompositorische Generalisierung SCAN in jeder Aufteilung (einschließlich der Längenaufteilung) mit einer Genauigkeit von mindestens 99 % lösen kann – und zwar mit nur 14 Beispielen. Bei Chain-of-Thought-Prompting erreicht dasselbe Modell lediglich eine Genauigkeit von 16 %. Dies ist besonders bemerkenswert, da neuronisch-symbolische Modelle aus der Literatur, die speziell für die Lösung von SCAN entwickelt wurden, auf dem gesamten Trainingsdatensatz mit über 15.000 Beispielen trainiert werden. Die Prompts für alle Aufgaben sind im Anhang enthalten.