Baidu veröffentlicht ERNIE 5.5 Flash Base

Baidu hat das Basismodell ERNIE-5.5-Flash-Base veröffentlicht. Das Sprachmodell richtet sich an Entwickler und Forscher, die es als Ausgangspunkt für Domänenanpassung, Instruction Tuning und Reinforcement-Learning-Forschung nutzen wollen. Die freigegebenen Gewichte stammen vom Ende der Vor-Trainingsphase und wurden nicht weiter optimiert. Das Modell ist auf Hugging Face als FP8- und BF16-Version verfügbar und kann über die Completions-API von SGLang und vLLM bereitgestellt werden. ERNIE-5.5-Flash-Base ist ein sparse Mixture-of-Experts-Modell mit 280 Billionen Gesamtparametern und 14 Billionen aktivierten Parametern pro Token. Es wurde von Grund auf auf 33,5 Billionen Tokens trainiert. Der Trainingskontext wurde schrittweise auf 128.000 Tokens erweitert, während Feinabstimmung und Inferenz einen Kontext von bis zu einer Million Tokens unterstützen. Das Modell nutzt einen neuen BPE-Tokenizer mit etwa 200.000 Einträgen und nummeriert Zahlen in Dreiergruppen von rechts nach links, um arithmetische und zahllastige Aufgaben zu verbessern. Ein zentrales Versprechen ist die Balance zwischen Leistung und Effizienz. Statt in jeder Schicht vollen Zugriff auf den gesamten Kontext vorzusehen, nutzt ERNIE-5.5-Flash-Base eine hybride Aufmerksamkeitsarchitektur. Nur etwa jede siebte Schicht arbeitet mit Multi-head Latent Attention, die übrigen Schichten komprimieren jeweils 128 Tokens in einen Eintrag und greifen zusätzlich auf kurze Fenster unveränderter Tokens zu. In den vollkontextfähigen Schichten wird komprimierte sparse Attention eingesetzt, um die Kosten bei langen Sequenzen konstant zu halten. Ergänzend kommen Low-Rank Gated Attention, Virtual Head Attention, ein Multi-Router-MoE-Design, manifold-constrained Hyper-Connections, ein MultiMax-Ausgabekopf sowie die ECHO-Methode für Multi-Token-Prediction zum Einsatz. Für das Training wurden der verteilte Muon-Optimizer und der Attention-Kern FlashMask-4 optimiert. Kommunikationspfade für dichte und MoE-Parameter wurden zusammengeführt, Speicherverteilung über viele GPUs ausgeglichen und große Head-Dimensionen auf aktuellen GPUs schneller berechnet. Der Korpus umfasst mehrsprachige Webdaten, Code inklusive Commits, Issues, Pull Requests und Testläufe sowie synthetische und natürliche Langkontextdaten. In den veröffentlichten Benchmarks schneidet das Modell gegenüber vergleichbaren Base-Modellen wie DeepSeek-V4-Flash-Base, Hy3-preview-Base und MiMo-V2.5-Base stark ab, insbesondere bei Prüfungs-, Code- und Reasoning-Aufgaben. Auch bei sechs Langkontext-Benchmarks bleibt die Leistung hoch, obwohl die meisten Schichten auf komprimierten Kontexten operieren. Mit Baidu als Anbieter, einer offenen Lizenz für das Basismodell und der angekündigten post-trainierten Version positioniert sich das Release als Basis für Forschungs- und Anpassungsprojekte.