Le Technology Innovation Institute (TII) d’Abu Dhabi dévoile Falcon H1R 7B, un modèle de langage à décoder unique, conçu pour des performances exceptionnelles en raisonnement malgré sa taille modeste de 7 milliards de paramètres. Inspiré du modèle de base Falcon-H1, ce nouveau modèle représente une avancée significative grâce à une architecture optimisée et une méthode d’entraînement innovante. Falcon H1R 7B égale ou dépasse les meilleurs modèles de raisonnement actuels, même ceux 2 à 7 fois plus grands, démontrant une efficacité remarquable en termes de paramètres. Son succès repose sur une pipeline d’entraînement en deux étapes : une fine-tuning supervisée efficace suivie d’une mise à l’échelle par apprentissage par renforcement (RL scaling). L’entraînement s’appuie sur un jeu de données soigneusement sélectionné, ciblant spécifiquement le développement de capacités cognitives avancées. L’architecture hybride Transformer–Mamba joue un rôle clé dans l’efficacité de la mémoire et du débit, permettant une scalabilité supérieure pendant l’inférence. Les performances de Falcon H1R 7B sont évaluées sur plusieurs benchmarks. En mathématiques, il obtient 88,1 % sur AIME-24, dépassant des modèles plus gros comme Apriel 1.5 15B (86,2 %), et 83,1 % sur AIME-25, démontrant une maîtrise des problèmes complexes. Sur HMMT-25, il atteint 64,9 %, devançant des modèles 32B. En code et tâches agenty, il réalise 68,6 % sur LCB v6 (meilleur résultat pour les modèles <8B), 28,3 % sur SciCode (sub-problem), et 4,96 % sur TB Hard, surpassant Qwen3 8B et 32B. En tâches générales, il atteint 72,1 % sur MMLU-Pro, dépassant tous les modèles de 8B et se rapprochant des 14B/32B, tout comme 61,3 % sur GPQA-D et 53,4 % sur IFBench. En inférence, Falcon H1R 7B bat Qwen3 8B sur tous les fronts, notamment dans les charges de travail réalistes à grande échelle. À un batch de 64, il atteint près de 1 500 tokens/seconde par GPU, contre environ 900 pour Qwen3, surtout avec des entrées longues (8k → 16k). Cette performance repose sur une architecture hybride permettant une gestion optimale des ressources. La méthode Deep Think with Confidence (DeepConf), intégrée au moment de l’inférence, permet d’optimiser le raisonnement en temps réel en éliminant dynamiquement les traces de génération peu fiables grâce aux scores de confiance du modèle. Cette approche légère, sans entraînement supplémentaire, maximise la précision tout en réduisant le nombre de tokens générés — un gain fondamental pour l’efficacité. Falcon H1R 7B s’inscrit sur une nouvelle frontière de performance, combinant rapidité, efficacité en tokens et précision. Disponible sous licence Falcon LLM, il renforce l’engagement du TII envers l’accessibilité et la collaboration dans le domaine de l’IA. Cette initiative ouvre la voie à des applications pratiques, à la recherche académique et au développement de systèmes intelligents à coût réduit. Experts du secteur soulignent que Falcon H1R 7B représente une rupture dans la conception des modèles efficaces : « Ce modèle montre que la taille n’est pas tout. L’architecture, l’entraînement et l’optimisation au moment de l’inférence peuvent surpasser les géants », note une chercheuse en apprentissage automatique au MIT. Pour le TII, cette sortie marque une étape cruciale dans la quête de modèles fondamentaux capables, rapides et durables.