Energiebasierte Transformatoren (EBTs)

Energiebasierte Transformatoren (EBTs) sind ein neuer Typ energiebasierter Modelle, die von einem Team der University of Virginia am 2. Juli 2025 vorgeschlagen wurden. Sie können jedem Eingabe- und Kandidatenvorhersagepaar einen Energiewert zuweisen und eine Vorhersage erzielen, indem sie die Energie basierend auf dem Gradientenabstieg bis zur Konvergenz minimieren.Energiebasierte Transformatoren sind skalierbare Lerner und Denker".

EBTs skalieren während des Trainings schneller als der aktuelle Transformer++-Ansatz sowohl bei diskreten als auch bei kontinuierlichen Modalitätsaufgaben und erreichen Skalierungsverbesserungen von bis zu 35% in mehreren Dimensionen, einschließlich Datenvolumen, Batchgröße, Anzahl der Parameter, FLOPs und Modelltiefe. Selbst bei vergleichbarer oder sogar schlechterer Vortrainingsleistung übertreffen EBTs bestehende Modelle bei den meisten nachgelagerten Aufgaben und zeigen im Vergleich zu bestehenden Methoden überlegene Generalisierungsfähigkeiten.

EBTs sind ein vielversprechendes neues Paradigma, das die Lern- und Denkfähigkeiten eines Modells gleichzeitig erweitern kann.