基于能量的 Transformer（EBTs）

基于能量的 Transformer（Energy-Based Transformers，简称 EBTs）是由弗吉尼亚大学团队于 2025 年 7 月 2 日提出的一类新的基于能量的模型，使其能为每个输入和候选预测对分配能量值，并通过基于梯度下降的能量最小化直至收敛来实现预测。相关论文成果为「Energy-Based Transformers are Scalable Learners and Thinkers」。

在离散模态和连续模态任务中，EBTs 在训练阶段的扩展速度比当前主流的 Transformer++ 方法更快，在数据量、批量大小、参数数量、 FLOPs 和模型深度等多个维度上的扩展率最高提升了 35% 。在预训练性能相同甚至更差的情况下，EBTs 在大多数下游任务上仍优于现有模型，这表明 EBTs 比现有方法具有更好的泛化能力。

EBTs 是一种极具前景的新范式，能够同时扩展模型的学习能力和思考能力。