エネルギーベーストランスフォーマー（EBT）は、2025年7月2日にバージニア大学のチームによって提案された新しいタイプのエネルギーベースモデルです。入力と候補予測のペアごとにエネルギー値を割り当て、収束するまで勾配降下法に基づいてエネルギーを最小化することで予測を実現します。エネルギーベースのトランスフォーマーはスケーラブルな学習者であり思考者です”。

EBTは、離散型および連続型の両方のモダリティタスクにおいて、現在主流のTransformer++アプローチよりも学習中に高速にスケーリングし、データ量、バッチサイズ、パラメータ数、FLOP、モデル深度など、複数の次元にわたって最大35%のスケーリング改善を実現します。学習前のパフォーマンスが同等、あるいは劣る場合でも、EBTはほとんどの下流タスクにおいて既存モデルを上回り、既存の手法と比較して優れた汎化能力を発揮します。

EBT は、モデルの学習能力と思考能力を同時に拡張できる有望な新しいパラダイムです。