OCD: Lernen, überzupassen, mit bedingten Diffusionsmodellen

Wir präsentieren ein dynamisches Modell, bei dem die Gewichte an einem Eingabestichprobe ( x ) konditioniert sind und gelernt werden, um mit denen übereinzustimmen, die durch das Feinjustieren eines Basismodells auf ( x ) und dessen Bezeichnung ( y ) erzielt würden. Diese Abbildung zwischen einer Eingabestichprobe und den Netzwerkgewichten wird durch ein Rauschreduzierungsdiffusionsmodell approximiert. Das von uns verwendete Diffusionsmodell konzentriert sich darauf, eine einzelne Schicht des Basismodells zu modifizieren und ist an den Eingang, die Aktivierungen und die Ausgabe dieser Schicht konditioniert. Da das Diffusionsmodell seiner Natur nach stochastisch ist, führen mehrere Initialisierungen zu verschiedenen Netzwerken, die ein Ensemble bilden, was zu weiteren Verbesserungen führt. Unsere Experimente zeigen die breite Anwendbarkeit der Methode für Bildklassifikation, 3D-Rekonstruktion, tabellarische Daten, Sprachtrennung und natürliche Sprachverarbeitung. Unser Code ist unter https://github.com/ShaharLutatiPersonal/OCD verfügbar.