HyperAIHyperAI

Command Palette

Search for a command to run...

Diffusionsbasierte Anpassung zur Klassifikation unbekannter veränderter Bilder

Kazuki Endo Masatoshi Okutomi Masayuki Tanaka Dinesh Daultani

Zusammenfassung

Die Klassifizierung unbekannter veränderter Bilder ist in praktischen Anwendungen von entscheidender Bedeutung, da die zugrundeliegenden Bildveränderungsmodelle in der Regel unbekannt sind. Diffusionsbasierte Modelle bieten eine verbesserte Leistung bei der Bildverbesserung und der Bildrekonstruktion aus veränderten Bildern. In dieser Studie nutzen wir das Diffusionsmodell nicht zur Rekonstruktion, sondern zur Anpassung. Während die Rekonstruktion aus einem veränderten Bild darauf abzielt, das ursprünglich saubere, veränderungsfreie Bild wiederherzustellen, transformiert die Anpassung eines veränderten Bildes das Bild in den Bereich sauberer Bilder. Allerdings haben Diffusionsmodelle Schwierigkeiten, eine effektive Bildanpassung bei spezifischen Veränderungen durchzuführen, insbesondere wenn die zugrundeliegenden Veränderungsmodelle unbekannt sind. Um das Problem unvollkommener angepasster sauberer Bilder durch Diffusionsmodelle bei der Klassifizierung veränderter Bilder zu adressieren, schlagen wir eine neue Methode namens Diffusion-based Adaptation for Unknown Degraded images (DiffAUD) vor, die auf robusten Klassifizierern basiert, die auf wenigen bekannten Veränderungsarten trainiert wurden. Unsere vorgeschlagene Methode ergänzt die Diffusionsmodelle und zeigt konsistent gute Generalisierungsfähigkeit auf verschiedenen Arten von Veränderungen mit unterschiedlicher Schwere. DiffAUD verbessert die Leistung gegenüber dem Basismodell aus Diffusionsmodellen und sauberen Klassifizierern auf dem Imagenet-C-Datensatz um 5,5 %, 5 % und 5 % jeweils für die Rückgratarchitekturen ResNet-50, Swin Transformer (Tiny) und ConvNeXt-Tiny. Darüber hinaus zeigen wir, dass die Schulung von Klassifizierern anhand bekannter Veränderungsarten erhebliche Leistungssteigerungen bei der Klassifizierung veränderter Bilder ermöglicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp