Command Palette
Search for a command to run...
温度系数(Temperature)是大语言模型解码阶段控制采样随机性的参数。模型每一步会输出下一个 token 的概率分布,温度 T 通过缩放 logits(先除以 T 再做 softmax)改变分布的陡峭程度:T 小于 1 时分布更尖锐、输出更确定、保守;T 大于 1 时分布更平坦、输出更多样,也更容易跑偏;T 趋近 0 时等价于贪心解码,几乎总选概率最高的词;T 等于 1 时分布保持原样。
温度系数的思想来源是统计物理中的玻尔兹曼分布与模拟退火。1983 年,Kirkpatrick 等人在论文 Optimization by Simulated Annealing 中把“温度”当作控制搜索随机性的参数:温度高时允许跳出局部最优,温度随时间下降则逐步收敛。这一记法后来被采样方法与 softmax 借用,成为生成模型调节分布的通用手段。
温度系数的典型用法是与 top-k、top-p(核采样)配合:先按温度调整分布,再截断掉长尾,兼顾多样性与连贯性。实践中的经验是:创意写作、头脑风暴可以调高温度,代码生成、数学推理和事实问答则宜调低。
温度系数的效果是可以被量化的。2026 年,Parupudi 等人在论文 Before and After Temperature: A Distributional View of Creative LLM Generation 中基于 Llama-3.1-8B,取 T = 0.3/0.8/1.5 生成 500 个开放式创意提示,发现“温度如何重塑分布”这一单特征就能以 Spearman ρ = 0.918 预测创意排名,明显优于困惑度等传统指标。这说明温度不只是凭手感的旋钮,而是调节创造性与稳定性的关键接口。