Doppelt assoziierter Encoder für die Gesichtsrestauration

Die Wiederherstellung von Gesichtsdetails aus niedrigen Bildqualitäten (LQ) bleibt ein herausforderndes Problem aufgrund der durch verschiedene Degradationen in der Praxis verursachten Fehlstellung. Der bestehende Codebuch-ansatz mildert die Fehlstellung, indem er einen Autoencoder und ein gelerntes Codebuch mit hochwertigen (HQ) Merkmalen nutzt, wodurch bemerkenswerte Qualität erreicht wird. Allerdings hängen die bestehenden Ansätze in diesem Paradigma häufig von einem einzigen auf HQ-Daten vorab trainierten Encoder ab, um HQ-Bilder wiederherzustellen, wobei der Domänenunterschied zwischen LQ- und HQ-Bildern vernachlässigt wird. Als Ergebnis kann die Kodierung von LQ-Eingaben unzureichend sein, was zu einer suboptimalen Leistung führt. Um dieses Problem anzugehen, schlagen wir ein neues zweigeteiltes Framework namens DAEFR vor. Unsere Methode führt eine zusätzliche LQ-Zweig ein, der wichtige Informationen aus den LQ-Eingaben extrahiert. Zudem integrieren wir assoziatives Training, um eine effektive Synergie zwischen den beiden Zweigen zu fördern und sowohl die Codierungsvorhersage als auch die Ausgabequalität zu verbessern. Wir evaluieren die Effektivität von DAEFR anhand synthetischer und realer Datensätze und zeigen seine überlegene Leistung bei der Wiederherstellung von Gesichtsdetails. Projektseite: https://liagm.github.io/DAEFR/