Command Palette
Search for a command to run...
Chaque activation boostée : mise à l’échelle du raisonneur général à 1 billion de fondamentaux linguistiques ouverts

Résumé
Nous présentons Ling 2.0, une série de modèles fondamentaux linguistiques orientés vers le raisonnement, construite sur le principe selon lequel chaque activation contribue à renforcer la capacité de raisonnement. Conçu pour s'échelonner de quelques dizaines de milliards à un trillion de paramètres dans le cadre d'un paradigme unifié de Mélange d'Experts (MoE), Ling 2.0 met l'accent sur une grande sparsité, une cohérence inter-échelle et une efficacité guidées par des lois d'échelonnement empiriques. La série comprend trois modèles non-rationnels (d'instruction) : Ling-mini-2.0, Ling-flash-2.0 et Ling-1T, dont le nombre total de paramètres varie de 16 milliards à 1 trillion, offrant une efficacité de calcul actif jusqu'à 7 fois supérieure à celle des modèles denses équivalents. Ling 2.0 intègre des innovations coordonnées sur l'architecture du modèle, la pré-formation, la post-formation et l'infrastructure : un MoE à forte sparsité avec MTP (Multi-Task Prompting) pour un raisonnement efficace, des données orientées vers le raisonnement et une activation de type CoT (Chain-of-Thought) au cours de l'entraînement intermédiaire, un ajustage fin par renforcement (DFT, Evo-CoT), ainsi qu'un entraînement à grande échelle en FP8 avec des pipelines hétérogènes à granularité fine. À l'échelle du trillion, Ling-1T établit un nouveau frontière de Pareto en matière d'exactitude du raisonnement par rapport à l'efficacité computationnelle, démontrant que l'activation creuse, lorsqu'elle est correctement alignée sur des objectifs de raisonnement, permet d'obtenir une intelligence à la fois évolutive et efficace. Collectivement, Ling 2.0 fournit une base cohérente, ouverte et efficace pour l'avancement des modèles futurs de raisonnement et de pensée, y compris la série Ring, construite sur la même base.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.