에너지 기반 변환기(EBT)는 버지니아 대학교 연구팀이 2025년 7월 2일에 제안한 새로운 유형의 에너지 기반 모델입니다. 이 모델은 각 입력과 후보 예측 쌍에 에너지 값을 할당하고 수렴할 때까지 경사 하강법을 기반으로 에너지를 최소화하여 예측을 달성할 수 있습니다.에너지 기반 변압기는 확장 가능한 학습자이자 사고자입니다.".

EBT는 이산 및 연속 모달리티 작업 모두에서 현재 주류인 Transformer++ 방식보다 학습 속도가 더 빠르며, 데이터 볼륨, 배치 크기, 매개변수 수, FLOP, 모델 깊이 등 여러 차원에서 최대 35%의 확장 성능 향상을 달성합니다. 사전 학습 성능이 비슷하거나 더 낮더라도 EBT는 대부분의 후속 작업에서 기존 모델보다 우수한 성능을 보이며, 기존 방식보다 우수한 일반화 성능을 보여줍니다.

EBT는 모델의 학습 및 사고 능력을 동시에 확장할 수 있는 유망한 새로운 패러다임입니다.