Baidu publie ERNIE 5.5 Flash Base MoE 280B

Baidu a publié ERNIE-5.5-Flash-Base, un grand modèle de langage ouvert conçu comme un socle de pré-entraînement pour des systèmes spécialisés. Le modèle repose sur une architecture mixture-of-experts sparse, avec 280 milliards de paramètres au total mais seulement 14 milliards activés par jeton, afin de limiter les besoins en calcul et en mémoire. Il a été entraîné depuis zéro sur 33,5 mille milliards de jetons, avec un contexte montant jusqu’à 128 000 jetons pendant le pré-entraînement et une prise en charge d’un contexte d’un million de jetons pour le réglage fin et l’inférence. Cette sortie vise à offrir un point de départ commun pour l’adaptation à des domaines, le réglage sur instructions et la recherche en apprentissage par renforcement. Les poids publiés correspondent à la fin du pré-entraînement, avant toute étape intermédiaire ou postérieure, ce qui laisse aux développeurs la liberté de conserver les capacités générales apprises tout en choisissant leur propre stratégie d’entraînement ultérieur. L’efficacité est au cœur de la conception. La majorité des couches utilise une attention fortement compressée, qui réduit la mémoire nécessaire pour suivre de longs passages, tandis que quelques couches conservent l’accès complet au contexte. Cette combinaison cherche à préserver la compréhension de textes longs sans alourdir le calcul. Le modèle remplace également la prédiction multi-jetons classique par ECHO, une méthode qui réutilise la dernière couche pour anticiper les jetons suivants, ce qui améliore la cohérence, le raisonnement et le code. D’autres innovations concernent le routage des experts, les connexions résiduelles, la tête de sortie et le tokenizer, avec notamment un traitement des nombres par groupes de trois chiffres pour mieux gérer les valeurs numériques. Le corpus de pré-entraînement est large et multilingue, avec des efforts ciblés sur le code, y compris des histories de dépôts, issues, requêtes de modification, revues de code et tests vérifiés, ainsi que sur la compréhension de très longs documents. L’entraînement s’appuie sur un optimiseur Muon distribué et un noyau d’attention FlashMask-4, conçus pour fonctionner efficacement sur des milliers de GPU. Dans les évaluations, ERNIE-5.5-Flash-Base affiche des résultats solides face à des modèles comparables, notamment sur les tests de connaissances générales, de raisonnement, de code et de long contexte. Le modèle est disponible sur Hugging Face en formats FP8 et BF16 sous une licence dédiée, avec l’indication d’ajouter le jeton de début lors de l’entrée du texte. Baidu prévoit ensuite une version entraînée après pré-entraînement, destinée à des usages d’adaptation, de raisonnement et d’agents intelligents.