Heecheol Yun Kwangmin Ki Junghyun Lee Eunho Yang

Abstract

Die Kombination großer Sprachmodelle (Large Language Models, LLMs) hat als vielversprechender Ansatz an Bedeutung gewonnen, um die Leistung einzelner Modelle zu übertreffen, indem deren komplementären Stärken genutzt werden. Insbesondere hat sich die Aggregation der Wahrscheinlichkeitsverteilungen für den nächsten Token aus mehreren Modellen als effektiv bei verschiedenen Aufgaben erwiesen. Allerdings bleibt die Anwendung dieser Methode bei der Generierung langer Texte bisher unzureichend erforscht, obwohl sie für kurze Antworten erfolgreich ist. In dieser Arbeit zeigen wir, dass die Anwendung bestehender Ensembling-Methoden bei der Generierung langer Texte eine sorgfältige Auswahl der Ensembling-Positionen erfordert, da die gängige Praxis, bei jedem Token zu ensembeln, häufig die Leistung beeinträchtigt. Wir identifizieren zwei entscheidende Faktoren für die Bestimmung dieser Positionen: Tokenisierungsmismatch zwischen den Modellen und Konsens in ihren Wahrscheinlichkeitsverteilungen für den nächsten Token. Basierend auf diesen Erkenntnissen stellen wir SAFE (Stable And Fast LLM Ensembling) vor, einen Rahmen, der selektiv ensembelt, indem er diese Faktoren gemeinsam berücksichtigt. Um die Stabilität weiter zu erhöhen, führen wir eine Strategie zur Schärfung der Wahrscheinlichkeiten ein, die die auf mehrere Sub-Word-Token verteilten Wahrscheinlichkeiten für dasselbe Wort in einen einzigen repräsentativen Token zusammenfasst. Unsere Experimente auf verschiedenen Benchmarks, darunter MATH500 und BBH, zeigen, dass SAFE sowohl in Bezug auf Genauigkeit als auch auf Effizienz bestehende Methoden übertrifft – mit messbaren Verbesserungen bereits bei der Ensembling von weniger als 1 % der Tokens.