Le coefficient de température (Temperature) est un paramètre qui contrôle l’aléatoire de l’échantillonnage lors de la phase de décodage des grands modèles de langage. À chaque étape, le modèle produit une distribution de probabilité pour le prochain jeton. La température T modifie la netteté de cette distribution en mettant les logits à l’échelle (division par T avant d’appliquer la fonction softmax) : lorsque T est inférieur à 1, la distribution devient plus pointue, les sorties sont plus déterministes et conservatrices ; lorsque T est supérieur à 1, la distribution s’aplatit, les sorties deviennent plus diversifiées, mais aussi plus sujettes aux dérives ; lorsque T tend vers 0, cela équivaut à un décodage glouton, sélectionnant presque toujours le mot ayant la probabilité la plus élevée ; lorsque T est égal à 1, la distribution reste inchangée.

L’origine conceptuelle du coefficient de température réside dans la distribution de Boltzmann et le recuit simulé issus de la physique statistique. En 1983, dans leur article Optimization by Simulated Annealing, Kirkpatrick et ses collègues ont utilisé la « température » comme paramètre pour contrôler l’aléatoire de la recherche : à haute température, il est permis de s’échapper des optima locaux, tandis que la baisse progressive de la température au fil du temps assure une convergence graduelle. Cette notation a ensuite été adoptée par les méthodes d’échantillonnage et la fonction softmax, devenant un outil universel pour réguler les distributions dans les modèles génératifs.

L’usage typique du coefficient de température consiste à le combiner avec le top-k et le top-p (échantillonnage par noyau) : on ajuste d’abord la distribution selon la température, puis on tronque la longue traîne, garantissant ainsi un équilibre entre diversité et cohérence. Dans la pratique, l’expérience montre qu’il convient d’augmenter la température pour l’écriture créative et les sessions de remue-méninges, tandis qu’il vaut mieux la diminuer pour la génération de code, le raisonnement mathématique et les questions-réponses factuelles.

Les effets du coefficient de température sont quantifiables. En 2026, Parupudi et ses collègues ont montré dans leur article Before and After Temperature: A Distributional View of Creative LLM Generation, basé sur le modèle Llama-3.1-8B, qu’en générant 500 prompts créatifs ouverts avec des températures T = 0.3/0.8/1.5, la seule caractéristique « comment la température remodèle la distribution » permettait de prédire le classement créatif avec un coefficient de Spearman ρ = 0.918, surpassant nettement des indicateurs traditionnels tels que la perplexité. Cela démontre que la température n’est pas simplement un bouton réglé au jugé, mais une interface cruciale pour ajuster la créativité et la stabilité.