Sangmin Bae Bilge Acun Haroun Habeeb Seungyeon Kim Chien-Yu Lin Liang Luo Junjie Wang Carole-Jean Wu

Abstract

Neuere Fortschritte bei großen Sprachmodellen zeigen, dass hybride Architekturen – die Selbst-Attention-Mechanismen mit strukturierten Zustandsraummodellen wie Mamba kombinieren – ein überzeugendes Gleichgewicht zwischen Modellierungsqualität und rechnerischer Effizienz erzielen können, insbesondere für Aufgaben mit langen Kontexten. Obwohl diese hybriden Modelle vielversprechende Leistungen erbringen, wurden systematische Vergleiche verschiedener Hybridestrategien sowie Analysen der entscheidenden Faktoren für ihre Wirksamkeit bisher nicht ausreichend an die Forschungsgemeinschaft weitergegeben. In dieser Arbeit präsentieren wir eine umfassende Bewertung hybrider Architekturen auf der Grundlage von inter-layer (sequenzieller) oder intra-layer (paralleler) Fusion. Wir analysieren diese Ansätze aus mehreren Perspektiven: Sprachmodellierungsleistung, Fähigkeit zur Verarbeitung langer Kontexte, Skalierbarkeitsanalyse sowie Effizienz beim Training und Inferenz. Durch die Untersuchung der grundlegenden Eigenschaften ihrer rechnerischen Bausteine identifizieren wir die entscheidenden Elemente jeder Hybridestrategie und leiten hieraus optimale Gestaltungsrichtlinien für beide Arten hybrider Modelle ab. Unsere umfassende Analyse liefert praktische Anleitungen und wertvolle Erkenntnisse für die Entwicklung hybrider Sprachmodelle und trägt zur Optimierung architektonischer Konfigurationen bei.