Pfropfung

Grafting ist eine einfache Methode zum Bearbeiten vortrainierter Diffusionstransformatoren (DiT), die 2025 von einem Team der Stanford University vorgeschlagen wurde und nur ein geringes Rechenbudget erfordert.Untersuchung von Diffusionstransformator-Designs durch Pfropfen"

Der genaue Ablauf des Pfropfens ist wie folgt:

Aktivierungsdestillation: Übertragen Sie die Funktionalität des ursprünglichen Operators auf einen neuen Operator und destillieren Sie seine Aktivierungswerte durch das Regressionsziel.
Leichtgewichtige Feinabstimmung: Minderung der Fehlerausbreitung, die durch die Integration mehrerer neuer Operatoren entsteht, indem eine End-to-End-Feinabstimmung mit begrenzten Daten durchgeführt wird.