Ist synthetische Daten aus Diffusionsmodellen bereit für Wissensdistillierung?

Diffusionsmodelle haben kürzlich erstaunliche Leistungen bei der Generierung hochrealistischer, fotorealistischer Bilder erzielt. Trotz ihres großen Erfolgs ist es jedoch noch unklar, ob synthetische Bilder für die Wissensdistillierung geeignet sind, wenn echte Bilder nicht verfügbar sind. In dieser Arbeit untersuchen wir umfassend, ob und wie synthetische Bilder, die von den neuesten Diffusionsmodellen erzeugt werden, ohne Zugang zu echten Bildern für die Wissensdistillierung verwendet werden können. Wir ziehen drei wesentliche Schlussfolgerungen: (1) Synthetische Daten aus Diffusionsmodellen können leicht zu Spitzenleistungen unter den existierenden, synthesebasierten Distillierungsverfahren führen, (2) niedrig-auflösende synthetische Bilder sind bessere Lehrmaterialien und (3) relativ schwache Klassifizierer sind bessere Lehrer. Der Quellcode ist unter https://github.com/zhengli97/DM-KD verfügbar.