Eine Übersicht über latente Schlussfolgerung

Große Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten im Bereich des Schließens gezeigt, insbesondere wenn sie durch explizites Kette-von-Gedanken-Schließen (CoT) geleitet werden, das die Zwischenschritte verbalisiert. Obwohl CoT sowohl die Interpretierbarkeit als auch die Genauigkeit verbessert, begrenzt seine Abhängigkeit von natürlichsprachlichem Schließen das Ausdrucksvermögen des Modells. Latentes Schließen überwindet diese Engstelle, indem es mehrstufige Inferenz vollständig im kontinuierlichen verborgenen Zustand des Modells durchführt und somit eine Token-basierte Überwachung eliminiert. Um die Forschung zum latenten Schließen voranzubringen, bietet dieser Überblick eine umfassende Übersicht über das aufkommende Feld der latenten Inferenz. Wir beginnen mit der Untersuchung der grundlegenden Rolle von Neuronalnetzschichten als rechnerische Substrate für das Schließen und betonen, wie hierarchische Darstellungen komplexe Transformationen unterstützen. Im Anschluss untersuchen wir verschiedene Methodologien des latenten Schließens, darunter Aktivierungsbasierte Rekurrenz, Verbreitung des verborgenen Zustands und Feinabstimmungsstrategien, die explizite Gedankenspuren komprimieren oder internalisieren. Abschließend diskutieren wir fortschrittliche Paradigmen wie latente Schließprozesse unendlicher Tiefe durch maskierte Diffusionsmodelle, die global konsistente und umkehrbare Schließprozesse ermöglichen. Durch die Vereinigung dieser Perspektiven streben wir an, das konzeptionelle Landschaftsbild des latenten Schließens zu klären und zukünftige Forschungsrichtungen am Rande der Kognition von LLMs zu skizzieren. Ein zugehöriges GitHub-Repository zur Sammlung neuester Arbeiten und Repositories ist unter folgender URL verfügbar: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.