Falcon-H1 : une famille de modèles linguistiques à tête hybride redéfinissant l'efficacité et les performances

Dans ce rapport, nous présentons Falcon-H1, une nouvelle série de modèles linguistiques à grande échelle (LLM) reposant sur une architecture hybride optimisée pour assurer à la fois des performances élevées et une efficacité remarquable dans diverses applications. Contrairement aux précédents modèles Falcon, fondés exclusivement sur des architectures Transformer ou Mamba, Falcon-H1 adopte une approche hybride parallèle qui combine l’attention basée sur Transformer avec des modèles à espace d’état (SSM), réputés pour leur mémoire longue et leur efficacité computationnelle supérieure. Nous avons systématiquement repensé la conception du modèle, la stratégie de données et les dynamiques d’entraînement, remettant en question les pratiques conventionnelles du domaine. Falcon-H1 est disponible en plusieurs configurations, incluant des variantes de base et ajustées à l’instruction, avec 0,5 milliard, 1,5 milliard, 1,5 milliard en version « deep », 3 milliards, 7 milliards et 34 milliards de paramètres. Des modèles ajustés à l’instruction quantifiés sont également disponibles, portant le total à plus de 30 points de contrôle sur le Hub Hugging Face. Les modèles Falcon-H1 atteignent des performances de pointe et une efficacité exceptionnelle en termes de paramètres et d’entraînement. Le modèle phare, Falcon-H1-34B, égale ou dépasse les performances de modèles de taille jusqu’à 70 milliards de paramètres, tels que Qwen3-32B, Qwen2.5-72B et Llama3.3-70B, tout en utilisant moins de paramètres et de données. Les modèles plus petits montrent des tendances similaires : Falcon-H1-1,5B-Deep rivalise avec les modèles leaders actuels de 7 à 10 milliards de paramètres, tandis que Falcon-H1-0,5B atteint des performances comparables à celles des modèles typiques de 7 milliards de paramètres de 2024. Ces modèles excellent dans des domaines variés tels que le raisonnement, les mathématiques, les tâches multilingues, le respect des instructions et la connaissance scientifique. Avec un support allant jusqu’à 256 000 jetons contextuels et 18 langues, Falcon-H1 s’adapte à un large éventail d’applications. Tous les modèles sont publiés sous une licence open source permissive, reflétant notre engagement en faveur de la recherche en intelligence artificielle accessible et à impact élevé.