Comment peut-on optimiser le coût pour doter les modèles linguistiques de capacités de raisonnement puissantes ? C’est en se posant cette question cruciale que nos chercheurs ont développé Tina, une série de modèles miniatures de raisonnement extrêmement économiques. Tina prouve qu’il est possible d’améliorer significativement les performances de raisonnement avec des ressources limitées. Plus précisément, cette méthode implique l'application de la technique de Low-Rank Adaptation (LoRA) à un modèle de base relativement petit, comptant seulement 1,5 milliard de paramètres, afin de réaliser des mises à jour efficaces des paramètres au cours de l'apprentissage par renforcement (RL). Le minimalisme adopté par Tina permet de générer des modèles dont les performances en matière de raisonnement égalent voire surpassent celles des modèles d'inférence RL existants, tous basés sur le même modèle de base, tout en offrant un coût de calcul considérablement inférieur. Le meilleur modèle Tina a, par exemple, démontré plus de 20 % d'amélioration en termes de performance de raisonnement sur le jeu de données AIME24, atteignant une précision Pass@1 de 43,33 %. Ce succès a été atteint pour un coût total de formation et d’évaluation de 9 dollars, soit une réduction de 260 fois par rapport aux coûts estimés des modèles SOTA actuels. Notre étude met en lumière l'impact spectaculaire de LoRA pour réaliser un raisonnement RL efficient. Nous avons validé cette approche à travers plusieurs jeux de données opensource de raisonnement, ainsi que diverses expériences d’ablation, toutes débutant avec un ensemble fixe d’hyperparamètres. Nous suggérons que l’efficacité et l’efficience de LoRA proviennent de sa capacité à adapter rapidement le modèle aux structures d'inférence récompensées par RL, tout en conservant en grande partie les connaissances sous-jacentes du modèle de base. Afin de promouvoir la recherche ouverte et l'accessibilité, nous avons rendu publics l'intégralité de notre code, nos logs de formation, ainsi que nos poids de modèle et points de contrôle. Cette transparence vise à faciliter la reproductibilité de nos résultats et à encourager une collaboration accrue au sein de la communauté scientifique. En conclusion, Tina offre une solution novatrice pour accroître les capacités de raisonnement des modèles linguistiques sans engendrer des frais prohibitifs. Grâce à son utilisation efficace de LoRA, elle permet d'optimiser les performances tout en limitant la consommation de ressources, rendant ainsi le raisonnement avancé plus accessible à un plus grand nombre de chercheurs et d’organisations.