Lernen aus der Geschichte: aufgabenunabhängiges Modell-Kontrastive Lernen für die Bildrekonstruktion

Kontrastive Lernverfahren sind zu einem dominierenden Paradigma für hochlevel-Vision-Aufgaben geworden. Durch die gezielte Einführung geeigneter negativer Beispiele wurde dieses Ansatz auch für niedriglevel-Vision-Aufgaben genutzt, um einen kompakten Optimierungsraum zu schaffen, der der schlecht gestellten Natur solcher Aufgaben Rechnung trägt. Allerdings beruhen bestehende Methoden auf manuell vorgegebenen, auf spezifische Aufgaben zugeschnittenen negativen Beispielen, die häufig starke, auf die jeweilige Aufgabe bezogene Verzerrungen aufweisen. Um dieses Problem zu lösen, stellen wir in unserer Arbeit eine innovative Methode vor, die als „Lernen aus der Vergangenheit“ bezeichnet wird und negative Beispiele dynamisch aus dem Zielmodell selbst generiert. Unser Ansatz, namens Model Contrastive Learning for Image Restoration (MCLIR), revitalisiert Latenzmodelle als negative Modelle und ist damit mit einer Vielzahl von Bildrekonstruktionsaufgaben kompatibel. Wir führen die Self-Prior-gesteuerte Negative-Loss (SPN) ein, um diesen Ansatz zu ermöglichen. Diese Methode verbessert bestehende Modelle erheblich, wenn sie mit dem vorgeschlagenen kontrastiven Lernparadigma neu trainiert werden. Die Ergebnisse zeigen signifikante Verbesserungen bei der Bildrekonstruktion über verschiedene Aufgaben und Architekturen hinweg. Beispielsweise übertrifft ein mit SPN neu trainiertes Modell das ursprüngliche FFANet und DehazeFormer auf dem RESIDE-Innen-Datensatz für Bildentnebelung um 3,41 dB und 0,57 dB. Ebenso erzielt es beachtliche Verbesserungen um 0,47 dB auf SPA-Data im Vergleich zu IDT bei der Bildentregenung und um 0,12 dB auf Manga109 bei einer 4x-Skalierung für die Super-Resolution im Vergleich zu einem leichten SwinIR-Modell. Der Quellcode und die neu trainierten Modelle sind unter https://github.com/Aitical/MCLIR verfügbar.