MohammadHossein Bateni Vincent Cohen-Addad Yuzhou Gu Silvio Lattanzi Simon Meierhans Christopher Mohri

Abstract
Große Sprachmodelle (Large Language Models, LLMs) haben sich als äußerst effektiv bei der Lösung komplexer Schlussfolgerungsaufgaben erwiesen. Überraschenderweise lassen sich ihre Fähigkeiten häufig durch mehrfache Iteration über zuvor generierte Lösungen verbessern. In diesem Kontext kann ein Schlussfolgerungsplan zur Erzeugung und Kombination einer Reihe von Lösungen als ein Algorithmus zur Schlussfolgerung unter Verwendung eines probabilistischen Orakels betrachtet werden.Wir stellen einen theoretischen Rahmen zur Analyse solcher Schlussfolgerungsalgorithmen vor. Dieser Rahmen formalisiert die Prinzipien, die den gängigen Techniken zur iterativen Verbesserung und Antwortaggregation zugrunde liegen, und bietet eine Grundlage für die Entwicklung einer neuen Generation leistungsfähigerer Schlussfolgerungsmethoden. Im Gegensatz zu Ansätzen zur Modellverständnis, die auf architektonischen Details beruhen, basiert unser Modell auf experimentellen Belegen. Dadurch ermöglicht es einen allgemeinen Blickwinkel, der sich möglicherweise auf eine breite Palette aktueller und zukünftiger Schlussfolgerungsorakel erstrecken lässt.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.