Diffusionsbasierte Anpassung zur Klassifikation unbekannter veränderter Bilder

Die Klassifizierung unbekannter veränderter Bilder ist in praktischen Anwendungen von entscheidender Bedeutung, da die zugrundeliegenden Bildveränderungsmodelle in der Regel unbekannt sind. Diffusionsbasierte Modelle bieten eine verbesserte Leistung bei der Bildverbesserung und der Bildrekonstruktion aus veränderten Bildern. In dieser Studie nutzen wir das Diffusionsmodell nicht zur Rekonstruktion, sondern zur Anpassung. Während die Rekonstruktion aus einem veränderten Bild darauf abzielt, das ursprünglich saubere, veränderungsfreie Bild wiederherzustellen, transformiert die Anpassung eines veränderten Bildes das Bild in den Bereich sauberer Bilder. Allerdings haben Diffusionsmodelle Schwierigkeiten, eine effektive Bildanpassung bei spezifischen Veränderungen durchzuführen, insbesondere wenn die zugrundeliegenden Veränderungsmodelle unbekannt sind. Um das Problem unvollkommener angepasster sauberer Bilder durch Diffusionsmodelle bei der Klassifizierung veränderter Bilder zu adressieren, schlagen wir eine neue Methode namens Diffusion-based Adaptation for Unknown Degraded images (DiffAUD) vor, die auf robusten Klassifizierern basiert, die auf wenigen bekannten Veränderungsarten trainiert wurden. Unsere vorgeschlagene Methode ergänzt die Diffusionsmodelle und zeigt konsistent gute Generalisierungsfähigkeit auf verschiedenen Arten von Veränderungen mit unterschiedlicher Schwere. DiffAUD verbessert die Leistung gegenüber dem Basismodell aus Diffusionsmodellen und sauberen Klassifizierern auf dem Imagenet-C-Datensatz um 5,5 %, 5 % und 5 % jeweils für die Rückgratarchitekturen ResNet-50, Swin Transformer (Tiny) und ConvNeXt-Tiny. Darüber hinaus zeigen wir, dass die Schulung von Klassifizierern anhand bekannter Veränderungsarten erhebliche Leistungssteigerungen bei der Klassifizierung veränderter Bilder ermöglicht.