Jiaxi Li Yucheng Shi Jin Lu Ninghao Liu

Abstract

Die Baum-Suche ist zu einem repräsentativen Rahmenwerk für die Schlussfolgerung bei der Testzeit mit großen Sprachmodellen (LLMs) geworden, beispielhaft vertreten durch Methoden wie Tree-of-Thought und Monte-Carlo-Baum-Suche, die mehrere Schlussfolgerungspfade erforschen. Dennoch ist es weiterhin schwierig, zuverlässige und sofortige quantitative Einschätzungen der Qualität einzelner Schlussfolgerungsschritte bereitzustellen, und eine umfassende Pfadexploration ist rechenintensiv. Um dieses Problem zu lösen, schlagen wir Mutual Information Tree Search (MITS) vor – einen neuartigen Ansatz, der die Schlussfolgerung durch informationstheoretische Prinzipien leitet. MITS führt eine effektive Bewertungsfunktion basierend auf der punktuellen gegenseitigen Information (PMI) ein, die eine schrittweise Beurteilung von Schlussfolgerungspfaden und die Erweiterung des Suchbaums mittels Beam-Search ermöglicht, ohne kostspielige Vorwärts-Simulationen zu benötigen. Dadurch erreicht MITS eine überlegene Schlussfolgerungsleistung bei gleichzeitig hoher rechnerischer Effizienz. Ergänzend wird eine auf der Entropie basierende dynamische Sampling-Strategie eingesetzt, die die Rechenressourcen adaptiv auf unsichere Schlussfolgerungsschritte konzentriert, in denen die Exploration besonders vorteilhaft ist. Für die endgültige Vorhersage verwendet MITS ein gewichtetes Abstimmungsschema, das PMI-Werte mit der Übereinstimmung der Vorhersagen kombiniert. In umfassenden Experimenten auf vielfältigen Schlussfolgerungsbenchmarks übertrifft MITS konsistent die Baseline-Methoden und etabliert einen fundierten und effizienten Rahmen für die Schlussfolgerung mit LLMs.