Residuenbedingter Optimaler Transport: Auf dem Weg zu strukturierender Bildrestauration in unangepassten und angepassten Bildpaaren

Tiefes Lernen-basierte Bildrestaurationsmethoden haben generell Schwierigkeiten, die Strukturen des Originalbildes treu zu bewahren. In dieser Arbeit schlagen wir einen neuen Ansatz namens Residual-Conditioned Optimal Transport (RCOT) vor, der die Bildrestauration sowohl in unverbundenen als auch in verbundenen Szenarien als ein Optimales-Transportproblem (OT) modelliert und den Transportresiduum als eine einzigartige, degradationsabhängige Information für sowohl die Transportkosten als auch die Transportabbildung einführt.Speziell formalisieren wir zunächst ein Fourier-Residual-gesteuertes OT-Ziel, indem wir die degradationsabhängigen Informationen des Residuums in die Transportkosten integrieren. Wir gestalten ferner die Transportabbildung als eine zweistufige RCOT-Abbildung, die aus einem Basismodell und einem Verfeinerungsprozess besteht. Dabei wird im ersten Durchgang das Transportresiduum durch das Basismodell berechnet und anschließend als degradationsabhängiges Embedding kodiert, um den Restaurationsprozess im zweiten Durchgang zu konditionieren.Durch Dualität wird das RCOT-Problem in ein Minimax-Optimierungsproblem transformiert, das durch gegnerisches Training von neuronalen Netzen gelöst werden kann. Ausführliche Experimente zu mehreren Restaurationsaufgaben zeigen, dass RCOT sowohl hinsichtlich der Verzerrungsmaße als auch der wahrnehmungsbasierten Qualität wettbewerbsfähige Leistungen erzielt und Bilder mit treueren Strukturen restauriert im Vergleich zu den bislang besten Methoden.