Die Entkoppelung von Wissen und Reasoning in LLMs: Eine Untersuchung unter Verwendung der kognitiven Dual-System-Theorie

Obwohl große Sprachmodelle (LLMs) während der Inferenz sowohl Wissen als auch Reasoning nutzen, spielt die Fähigkeit, zwischen beiden zu unterscheiden, eine entscheidende Rolle bei der Modellanalyse, Interpretierbarkeit und Entwicklung. Angeregt durch die dual-system kognitive Theorie, schlagen wir einen Kognitionszuordnungsrahmen vor, um die Beiträge von Wissen und Reasoning zu entkoppeln. Insbesondere wird die Kognition von LLMs in zwei unterschiedliche, aber ergänzende Phasen zerlegt: Wissensabfrage (Phase 1) und Reasoning-Anpassung (Phase 2). Um diese Phasen zu trennen, werden LLMs angewiesen, Antworten unter zwei verschiedenen kognitiven Modi zu generieren: schnelles Denken und langsames Denken. Die Leistung unter verschiedenen kognitiven Modi wird analysiert, um den Beitrag von Wissen und Reasoning quantitativ zu bestimmen. Dieses Architekturmodell wird auf 15 LLMs über 3 Datensätze angewandt. Die Ergebnisse zeigen: (1) Die Reasoning-Anpassung ist domain-spezifisch und bringt Vorteile für reasoningschwere Domänen (z. B. Mathematik, Physik und Chemie), während sie potenziell in wissensintensiven Domänen beeinträchtigen kann. (2) Die Skalierung der Parameter verbessert sowohl Wissen als auch Reasoning, wobei die Verbesserung bei Wissen deutlicher hervortritt. Zudem macht die Parameter-Skalierung LLMs beim Reasoning signifikant vorsichtiger, während sie gleichzeitig moderat intelligenter werden. (3) Wissen liegt hauptsächlich in den unteren Netzwerk-Schichten, während Reasoning in den höheren Schichten stattfindet. Unser Rahmenwerk hilft nicht nur, LLMs aus einer "Entkoppelungs"-Perspektive zu verstehen, sondern liefert auch neue Einblicke in bestehende Forschung, einschließlich der Skalierungsgesetze, hierarchischen Wissensbearbeitung und der Grenzen der Reasoning-Fähigkeiten kleiner Modelle.