Chain of Thought (CoT) ist eine Technik zur Verbesserung der logischen Denkfähigkeiten in großen Sprachmodellen. Dieses Konzept wurde erstmals von Jason Wei, einem leitenden Forscher bei Google Brain, vorgeschlagen und in einem Artikel mit dem Titel „Gedankenketten-Prompting fördert Schlussfolgerungen in großen Sprachmodellen" wird im Detail in " erläutert. Die CoT-Technologie zerlegt komplexe Probleme in eine Reihe schrittweiser Antworten auf Teilprobleme und leitet das Modell an, einen detaillierten Denkprozess zu generieren. Dadurch wird die Leistung des Modells bei komplexen Aufgaben wie arithmetischer Argumentation, gesundem Menschenverstand und symbolischer Argumentation verbessert.

Der Hauptvorteil der CoT-Technologie besteht darin, dass sie die Interpretierbarkeit des Modells erheblich verbessern und dem Modell dabei helfen kann, komplexe logische Schlussfolgerungen zu ziehen, insbesondere bei Problemen, bei denen mehrere Fakten oder Informationen kombiniert werden müssen. Es ahmt den menschlichen Denkprozess nach, der normalerweise nicht direkt zu einer Antwort führt, sondern über eine Reihe von Denk-, Analyse- und Argumentationsschritten erfolgt. CoT-Methoden werden in zwei Formen unterteilt: Few-Shot-CoT basierend auf manueller Beispielannotation und Zero-Shot-CoT ohne manuelle Beispielannotation. Few-Shot-CoT demonstriert den Denkprozess durch die Bereitstellung einer kleinen Anzahl von Beispielen, während Zero-Shot-CoT das Modell durch bestimmte Eingabeaufforderungen (wie etwa „Lasst uns Schritt für Schritt denken“) dazu anregt, Denkketten zu generieren, ohne dass zusätzliche Beispiele erforderlich sind.