Transformateurs À Base D'énergie (EBT)

Les transformateurs basés sur l'énergie (EBT) sont un nouveau type de modèle basé sur l'énergie proposé par une équipe de l'Université de Virginie le 2 juillet 2025. Ils peuvent attribuer une valeur énergétique à chaque paire d'entrée et de prédiction candidate et réaliser une prédiction en minimisant l'énergie en fonction de la descente du gradient jusqu'à la convergence.Les transformateurs basés sur l'énergie sont des apprenants et des penseurs évolutifs".

Les EBT évoluent plus rapidement pendant l'entraînement que l'approche Transformer++ actuelle, tant pour les tâches à modalités discrètes que continues, avec des gains d'évolutivité allant jusqu'à 35% sur plusieurs dimensions, notamment le volume de données, la taille des lots, le nombre de paramètres, les FLOP et la profondeur du modèle. Même avec des performances de pré-entraînement comparables, voire inférieures, les EBT surpassent les modèles existants sur la plupart des tâches en aval, démontrant ainsi des capacités de généralisation supérieures à celles des méthodes existantes.

Les EBT constituent un nouveau paradigme prometteur qui peut simultanément élargir les capacités d’apprentissage et de réflexion d’un modèle.