Sangmin Bae Bilge Acun Haroun Habeeb Seungyeon Kim Chien-Yu Lin Liang Luo Junjie Wang Carole-Jean Wu

Résumé

Les progrès récents observés dans les grands modèles linguistiques montrent qu’une architecture hybride — combinant des mécanismes d’attention autodépendante et des modèles d’état à structure comme Mamba — peut atteindre un équilibre convaincant entre qualité de modélisation et efficacité computationnelle, en particulier pour les tâches à contexte long. Bien que ces modèles hybrides affichent des performances prometteuses, les comparaisons systématiques des stratégies d’hybridation ainsi que les analyses des facteurs clés expliquant leur efficacité n’ont pas encore été clairement partagées avec la communauté. Dans ce travail, nous présentons une évaluation globale des architectures hybrides fondée sur une fusion inter-couche (séquentielle) ou intra-couche (parallèle). Nous évaluons ces architectures sous plusieurs angles : performance en modélisation linguistique, capacité à traiter des contextes longs, analyse de mise à l’échelle, ainsi que l’efficacité d’entraînement et d’inférence. En examinant les caractéristiques fondamentales de leur primitive computationnelle, nous identifions les éléments les plus critiques pour chaque stratégie d’hybridation, et proposons par la suite des recettes de conception optimales pour ces modèles hybrides. Notre analyse approfondie fournit ainsi des orientations pratiques et des éclairages précieux pour le développement de modèles linguistiques hybrides, facilitant l’optimisation des configurations architecturales.