Résumé

Dans ce rapport technique, nous présentons la série de modèles Ring-linear, comprenant spécifiquement Ring-mini-linear-2.0 et Ring-flash-linear-2.0.Ring-mini-linear-2.0 comporte 16 milliards de paramètres et 957 millions d’activations, tandis que Ring-flash-linear-2.0 possède 104 milliards de paramètres et 6,1 milliards d’activations. Les deux modèles adoptent une architecture hybride qui intègre efficacement l’attention linéaire et l’attention softmax, réduisant de manière significative la surcharge d’I/O et de calcul dans les scénarios d’inférence à longue portée. Par rapport à un modèle dense de 32 milliards de paramètres, cette série réduit le coût d’inférence à 1/10, et par rapport à la version initiale de la série Ring, le coût est également réduit de plus de 50 %. En outre, grâce à une exploration systématique du rapport entre les différentes mécaniques d’attention dans l’architecture hybride, nous avons identifié la structure de modèle actuellement optimale. Enfin, en exploitant notre bibliothèque d’opérateurs FP8 haute performance, développée in-house (linghe), l’efficacité globale de l’entraînement a été améliorée de 50 %. Grâce à l’alignement élevé entre les opérateurs des moteurs d’entraînement et d’inférence, les modèles peuvent bénéficier d’une optimisation à long terme, stable et très efficace durant la phase d’apprentissage par renforcement, tout en maintenant de manière constante des performances SOTA (state-of-the-art) sur plusieurs benchmarks exigeants de raisonnement complexe.