Progressive-Hint-Prompting verbessert das Schlussfolgern in großen Sprachmodellen

Die Leistung von Large Language Models (LLMs) bei Schlussfolgerungsaufgaben hängt stark von der Promptgestaltung ab, wobei Methoden wie Chain-of-Thought (CoT) und Self-Consistency entscheidend sind, um diese Fähigkeit zu verbessern. Diese Ansätze nutzen jedoch die von der LLM generierten Antworten nicht vollständig, um nachfolgende Antworten gezielt zu leiten. In diesem Artikel wird eine neue Prompting-Methode vorgestellt, die Progressive-Hint Prompting (PHP) heißt, welche automatisierte mehrfache Interaktionen zwischen Benutzer und LLM ermöglicht, indem sie zuvor generierte Antworten als Hinweise nutzt, um schrittweise zur korrekten Lösung zu führen. PHP ist orthogonal zu CoT und Self-Consistency und lässt sich daher nahtlos mit aktuellen state-of-the-art-Techniken kombinieren, um die Leistung weiter zu steigern. Wir führten umfangreiche und umfassende Experimente an sieben Benchmarks durch. Die Ergebnisse zeigen, dass PHP die Genauigkeit signifikant verbessert, während die Effizienz hoch bleibt. Beispielsweise erreichten wir bei text-davinci-003 mit Greedy-Decoding eine Verbesserung um 4,2 % auf GSM8K im Vergleich zu Complex CoT und eine Reduktion der benötigten Sample-Pfade um 46,17 % bei Verwendung von Self-Consistency. Mit GPT-4 und PHP erzielen wir state-of-the-art-Ergebnisse auf SVAMP (89,1 % → 91,9 %), GSM8K (92 % → 95,5 %), AQuA (76,4 % → 79,9 %) und MATH (50,3 % → 53,9 %).