DifFace: Blinde Gesichtsrestauration mit diffunder Fehlerkontraktion

Während tiefenlernenbasierte Methoden für die blinden Gesichtsrestauration unpräzedenzellen Erfolg erzielt haben, leiden sie noch unter zwei wesentlichen Einschränkungen. Erstens verschlechtern sich die meisten dieser Methoden, wenn sie mit komplexen Degradationen konfrontiert sind, die außerhalb ihrer Trainingsdaten liegen. Zweitens erfordern diese Methoden mehrere Nebenbedingungen, wie zum Beispiel Treue (fidelity), wahrnehmungsbezogene (perceptual) und adversäre Verluste, die eine mühsame Hyperparameter-Optimierung benötigen, um ihre Einflüsse zu stabilisieren und auszugleichen.In dieser Arbeit schlagen wir eine neuartige Methode namens DifFace vor, die in der Lage ist, unbekannte und komplexe Degradationen eleganter zu bewältigen, ohne aufkomplizierte Verlustdesigns zu benötigen. Der Kern unserer Methode besteht darin, eine A-posteriori-Verteilung von dem beobachteten niedrigen Bildqualität (LQ) zur entsprechenden hohen Bildqualität (HQ) herzuleiten. Insbesondere entwerfen wir eine Übergangsverteilung vom LQ-Bild zum Zwischenzustand eines vortrainierten Diffusionsmodells und übertragen dann schrittweise von diesem Zwischenzustand zum HQ-Ziel, indem wir ein vortrainiertes Diffusionsmodell rekursiv anwenden.Die Übergangsverteilung basiert nur auf einem Restaurationsbackbone, das mit $L_2$-Verlust auf synthetischen Daten trainiert wurde. Dies vermeidet vorteilhaft den mühsamen Trainingsprozess bestehender Methoden. Darüber hinaus kann die Übergangsverteilung den Fehler des Restaurationsbackbones reduzieren und damit unsere Methode robuster gegenüber unbekannten Degradationen machen.Umfassende Experimente zeigen, dass DifFace den aktuellen Stand der Technik übertreffen kann, insbesondere in Fällen mit schwerwiegenden Degradationen. Der Quellcode und das Modell sind unter https://github.com/zsyOAOA/DifFace verfügbar.