HyperAIHyperAI

Command Palette

Search for a command to run...

Die Entkoppelung von Wissen und Reasoning in LLMs: Eine Untersuchung unter Verwendung der kognitiven Dual-System-Theorie

Mutian Yang Jiandong Gao Ji Wu

Zusammenfassung

Obwohl große Sprachmodelle (LLMs) während der Inferenz sowohl Wissen als auch Reasoning nutzen, spielt die Fähigkeit, zwischen beiden zu unterscheiden, eine entscheidende Rolle bei der Modellanalyse, Interpretierbarkeit und Entwicklung. Angeregt durch die dual-system kognitive Theorie, schlagen wir einen Kognitionszuordnungsrahmen vor, um die Beiträge von Wissen und Reasoning zu entkoppeln. Insbesondere wird die Kognition von LLMs in zwei unterschiedliche, aber ergänzende Phasen zerlegt: Wissensabfrage (Phase 1) und Reasoning-Anpassung (Phase 2). Um diese Phasen zu trennen, werden LLMs angewiesen, Antworten unter zwei verschiedenen kognitiven Modi zu generieren: schnelles Denken und langsames Denken. Die Leistung unter verschiedenen kognitiven Modi wird analysiert, um den Beitrag von Wissen und Reasoning quantitativ zu bestimmen. Dieses Architekturmodell wird auf 15 LLMs über 3 Datensätze angewandt. Die Ergebnisse zeigen: (1) Die Reasoning-Anpassung ist domain-spezifisch und bringt Vorteile für reasoningschwere Domänen (z. B. Mathematik, Physik und Chemie), während sie potenziell in wissensintensiven Domänen beeinträchtigen kann. (2) Die Skalierung der Parameter verbessert sowohl Wissen als auch Reasoning, wobei die Verbesserung bei Wissen deutlicher hervortritt. Zudem macht die Parameter-Skalierung LLMs beim Reasoning signifikant vorsichtiger, während sie gleichzeitig moderat intelligenter werden. (3) Wissen liegt hauptsächlich in den unteren Netzwerk-Schichten, während Reasoning in den höheren Schichten stattfindet. Unser Rahmenwerk hilft nicht nur, LLMs aus einer "Entkoppelungs"-Perspektive zu verstehen, sondern liefert auch neue Einblicke in bestehende Forschung, einschließlich der Skalierungsgesetze, hierarchischen Wissensbearbeitung und der Grenzen der Reasoning-Fähigkeiten kleiner Modelle.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Die Entkoppelung von Wissen und Reasoning in LLMs: Eine Untersuchung unter Verwendung der kognitiven Dual-System-Theorie | Paper | HyperAI