La mise à l'échelle du temps d'inférence est une méthode permettant d'améliorer les performances des grands modèles de langage (LLM) en augmentant les ressources de calcul pendant la phase d'inférence. Les modèles de la série o1 d'OpenAI ont été les premiers à introduire le concept de mise à l'échelle du temps d'inférence. En augmentant la durée du processus de raisonnement de la chaîne de pensée, des améliorations significatives des performances ont été obtenues dans des tâches telles que les mathématiques, la programmation et le raisonnement scientifique.

L'expansion du temps d'inférence vise à améliorer les performances du modèle en allouant des ressources de calcul supplémentaires (telles que davantage d'étapes de calcul, des stratégies de raisonnement plus complexes, etc.) pendant le processus de raisonnement pour évaluer plusieurs résultats et sélectionner la meilleure solution. Il brise la limitation traditionnelle de l’amélioration des capacités du modèle en augmentant simplement les ressources de formation, permettant au modèle de penser de manière stratégique et de résoudre les problèmes de manière systématique lorsqu’il est confronté à des tâches complexes.