Command Palette
Search for a command to run...
Denken zum Abrufen: Wie logisches Schlussfolgern parametrisches Wissen in LLMs erschließt
Denken zum Abrufen: Wie logisches Schlussfolgern parametrisches Wissen in LLMs erschließt
Zorik Gekhman Roee Aharoni Eran Ofek Mor Geva Roi Reichart Jonathan Herzig
Zusammenfassung
Obwohl das logische Schließen in großen Sprachmodellen (LLMs) bei mathematischen Aufgaben, der Codegenerierung und mehrstufigen faktischen Fragen eine natürliche Rolle spielt, bleibt seine Wirkung auf einfache, einstufige faktische Fragen unklar. Derartige Fragen erfordern keine schrittweise logische Zerlegung, wodurch der Nutzen von Schließprozessen höchst kontraintuitiv erscheint. Dennoch stellen wir fest, dass die Aktivierung von Schließmechanismen die Grenzen der Fähigkeit des Modells zur Abrufung parametrischen Wissens erheblich erweitert und korrekte Antworten freisetzt, die andernfalls praktisch unerreichbar wären. Warum unterstützt Schließen den Abruf parametrischen Wissens, wenn keine komplexen Schließschritte erforderlich sind? Um diese Frage zu beantworten, entwerfen wir eine Reihe hypothesengeleiteter kontrollierter Experimente und identifizieren zwei zentrale treibende Mechanismen: (1) einen „computational buffer"-Effekt, bei dem das Modell die generierten Schließ-Token nutzt, um latente Berechnungen unabhängig von deren semantischem Inhalt durchzuführen; und (2) faktisches Priming, bei dem die Generierung thematisch verwandter Fakten als semantische Brücke dient und den Abruf der korrekten Antwort erleichtert. Wichtig ist, dass dieser letztere generative Selbstabrufmechanismus inhärente Risiken birgt: Wir zeigen, dass die Halluzinierung von Zwischenfakten während des Schließprozesses die Wahrscheinlichkeit von Halluzinationen in der finalen Antwort erhöht. Schließlich belegen wir, dass diese Erkenntnisse genutzt werden können, um die Modellgenauigkeit direkt zu verbessern, indem Schließpfade priorisiert werden, die frei von halluzinierten faktischen Aussagen sind.