Nicolas Boizard Hippolyte Gisserot-Boukhlef Kevin El-Haddad Céline Hudelot Pierre Colombo

Résumé

Les grands modèles linguistiques (LLM) dotés de capacités de raisonnement ont atteint des performances de pointe sur une large gamme de tâches. Malgré leur succès empirique, les tâches et les échelles de modèles pour lesquelles le raisonnement s'avère efficace, ainsi que les coûts associés à leur entraînement et à leur inférence, restent peu explorés. Dans ce travail, nous nous appuyons sur un cadre de distillation de données synthétiques afin de mener une étude supervisée à grande échelle. Nous comparons l’ajustement par instruction (Instruction Fine-Tuning, IFT) et des modèles de raisonnement de tailles variées sur une large gamme de tâches centrées sur les mathématiques et de tâches polyvalentes, en évaluant à la fois les formats à choix multiples et les formats à réponse ouverte. Notre analyse révèle que le raisonnement améliore de manière cohérente les performances des modèles, souvent en égalant voire en dépassant de manière significative des systèmes IFT beaucoup plus grands. Notamment, bien que l’IFT reste optimal au sens de Pareto en termes de coûts d’entraînement et d’inférence, les modèles de raisonnement gagnent en valeur croissante avec l’augmentation de la taille du modèle, dépassant les limites de performance de l’IFT sur les tâches exigeant un raisonnement intense et les tâches à réponse ouverte.