Der Temperaturkoeffizient (Temperature) ist ein Parameter in der Dekodierungsphase großer Sprachmodelle, der die Zufälligkeit der Stichprobenziehung steuert. Bei jedem Schritt gibt das Modell eine Wahrscheinlichkeitsverteilung für das nächste Token aus. Die Temperatur T verändert die Schärfe dieser Verteilung, indem sie die Logits skaliert (zunächst durch T dividiert, dann eine Softmax-Funktion anwendet): Ist T kleiner als 1, wird die Verteilung schärfer, die Ausgabe deterministischer und konservativer. Ist T größer als 1, wird die Verteilung flacher, die Ausgabe vielfältiger, aber auch anfälliger für Abweichungen. Wenn T gegen 0 strebt, entspricht dies dem gierigen Dekodieren, bei dem fast immer das Wort mit der höchsten Wahrscheinlichkeit ausgewählt wird. Bei T = 1 bleibt die Verteilung unverändert.

Die Idee des Temperaturkoeffizienten stammt aus der statistischen Physik, insbesondere aus der Boltzmann-Verteilung und dem Simulated Annealing. Im Jahr 1983 nutzten Kirkpatrick et al. in ihrem Paper Optimization by Simulated Annealing die „Temperatur“ als Parameter zur Steuerung der Zufälligkeit bei der Suche: Bei hoher Temperatur wird das Entkommen aus lokalen Optima ermöglicht, und mit sinkender Temperatur über die Zeit konvergiert der Prozess schrittweise. Diese Notation wurde später von Stichprobenverfahren und der Softmax-Funktion übernommen und ist nun ein gängiges Mittel zur Anpassung von Verteilungen in generativen Modellen.

Der Temperaturkoeffizient wird typischerweise in Kombination mit Top-k- und Top-p-Sampling (Kernsampling) verwendet: Zunächst wird die Verteilung anhand der Temperatur angepasst, dann werden die langen Enden abgeschnitten, um sowohl Vielfalt als auch Kohärenz zu gewährleisten. In der Praxis gilt als Faustregel: Für kreatives Schreiben und Brainstorming kann die Temperatur erhöht werden, während sie für Codegenerierung, mathematische Schlussfolgerungen und faktische Frage-Antwort-Systeme niedrig gehalten werden sollte.

Die Wirkung des Temperaturkoeffizienten ist quantifizierbar. Im Jahr 2026 zeigten Parupudi et al. in ihrem Paper Before and After Temperature: A Distributional View of Creative LLM Generation basierend auf Llama-3.1-8B, dass sie bei T = 0,3/0,8/1,5 500 offene kreative Prompts generierten. Dabei stellte sich heraus, dass das einzelne Merkmal „wie die Temperatur die Verteilung neu formt“ die kreativen Rangfolgen mit einem Spearman-Korrelationskoeffizienten ρ = 0,918 vorhersagen kann, was deutlich besser ist als bei traditionellen Metriken wie der Perplexität. Dies zeigt, dass die Temperatur kein bloßes Einstellrad nach Bauchgefühl ist, sondern eine entscheidende Schnittstelle zur Steuerung von Kreativität und Stabilität.

[JIALIU_0]