Chenze Shao Darren Li Fandong Meng Jie Zhou

Résumé

L'efficacité des modèles linguistiques à grande échelle (LLM) est fondamentalement limitée par leur processus séquentiel de génération, un token à la fois. Nous soutenons qu'au-delà de cette contrainte, il est nécessaire de repenser l'approche d'agrandissement des LLM en introduisant un nouvel axe de conception : augmenter la bande passante sémantique de chaque étape de génération. À cette fin, nous proposons les Modèles linguistiques autoregressifs continus (CALM), marquant un changement de paradigme par rapport à la prédiction discrète du prochain token, vers une prédiction continue du prochain vecteur. Le CALM utilise un autoencodeur à haute fidélité pour compresser un bloc de K tokens en un unique vecteur continu, à partir duquel les tokens d'origine peuvent être reconstruits avec une précision supérieure à 99,9 %. Cela permet de modéliser le langage comme une séquence de vecteurs continus, au lieu de tokens discrets, réduisant ainsi le nombre d'étapes de génération d'un facteur K. Ce changement de paradigme exige un nouvel ensemble d'outils de modélisation ; nous avons donc développé un cadre complet, sans recours à la vraisemblance, permettant une formation robuste, une évaluation fiable et un échantillonnage contrôlable dans le domaine continu. Les expériences montrent que le CALM améliore significativement le compromis performance-coût informatique, atteignant les performances de modèles de référence discrets forts tout en nécessitant un coût computationnel nettement plus faible. Plus important encore, ces résultats établissent la prédiction du prochain vecteur comme une voie puissante et évolutif vers des modèles linguistiques d'une efficacité extrême.Code : https://github.com/shaochenze/calmProjet : https://shaochenze.github.io/blog/2025/CALM