HyperAIHyperAI

Command Palette

Search for a command to run...

Denken zum Abrufen: Wie logisches Schlussfolgern parametrisches Wissen in LLMs erschließt

Zorik Gekhman Roee Aharoni Eran Ofek Mor Geva Roi Reichart Jonathan Herzig

Zusammenfassung

Obwohl das logische Schließen in großen Sprachmodellen (LLMs) bei mathematischen Aufgaben, der Codegenerierung und mehrstufigen faktischen Fragen eine natürliche Rolle spielt, bleibt seine Wirkung auf einfache, einstufige faktische Fragen unklar. Derartige Fragen erfordern keine schrittweise logische Zerlegung, wodurch der Nutzen von Schließprozessen höchst kontraintuitiv erscheint. Dennoch stellen wir fest, dass die Aktivierung von Schließmechanismen die Grenzen der Fähigkeit des Modells zur Abrufung parametrischen Wissens erheblich erweitert und korrekte Antworten freisetzt, die andernfalls praktisch unerreichbar wären. Warum unterstützt Schließen den Abruf parametrischen Wissens, wenn keine komplexen Schließschritte erforderlich sind? Um diese Frage zu beantworten, entwerfen wir eine Reihe hypothesengeleiteter kontrollierter Experimente und identifizieren zwei zentrale treibende Mechanismen: (1) einen „computational buffer"-Effekt, bei dem das Modell die generierten Schließ-Token nutzt, um latente Berechnungen unabhängig von deren semantischem Inhalt durchzuführen; und (2) faktisches Priming, bei dem die Generierung thematisch verwandter Fakten als semantische Brücke dient und den Abruf der korrekten Antwort erleichtert. Wichtig ist, dass dieser letztere generative Selbstabrufmechanismus inhärente Risiken birgt: Wir zeigen, dass die Halluzinierung von Zwischenfakten während des Schließprozesses die Wahrscheinlichkeit von Halluzinationen in der finalen Antwort erhöht. Schließlich belegen wir, dass diese Erkenntnisse genutzt werden können, um die Modellgenauigkeit direkt zu verbessern, indem Schließpfade priorisiert werden, die frei von halluzinierten faktischen Aussagen sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp