Blind Face Restoration durch Tiefen Mehrskalen-Komponentendictionary

Kürzlich haben referenzbasierte Methoden zur Gesichtsrestauration aufgrund ihrer ausgezeichneten Fähigkeit, hochfrequente Details in realen, niedriger Qualität aufweisenden Bildern wiederherzustellen, erhebliche Aufmerksamkeit gefunden. Allerdings benötigen die meisten dieser Methoden ein hochwertiges Referenzbild der gleichen Identität, was ihre Anwendbarkeit auf begrenzte Szenarien beschränkt. Um dieses Problem zu lösen, schlägt dieser Artikel ein tiefes Gesichtswörterbuchnetzwerk (DFDNet) vor, um den Restaurationsprozess von degradierten Beobachtungen zu leiten.Zunächst verwenden wir K-Means, um tiefere Wörterbücher für wahrnehmungsrelevante Gesichtskomponenten (d.h., linkes/rechtes Auge, Nase und Mund) aus hochwertigen Bildern zu generieren. Anschließend wählen wir bei einem degradierten Eingangsbild die am ähnlichsten liegenden Komponentenfeatures aus den entsprechenden Wörterbüchern aus und übertragen die hochwertigen Details mithilfe des vorgeschlagenen Wörterbuch-Feature-Transfer (DFT)-Blocks auf das Eingangsbild. Insbesondere wird Component AdaIN genutzt, um die Stilvervielfalt zwischen den Eingangs- und Wörterbuchfeatures (z.B., Beleuchtung) zu beseitigen, und es wird ein Vertrauensscore vorgeschlagen, um das Wörterbuchfeature adaptive mit dem Eingangsbild zu fusionieren. Schließlich werden mehrstufige Wörterbücher in fortschreitender Weise eingesetzt, um eine von grob zu fein gerichtete Restauration zu ermöglichen.Experimente zeigen, dass unser vorgeschlagener Ansatz sowohl in quantitativer als auch qualitativer Bewertung plausibel ist und wichtigerweise realistische und vielversprechende Ergebnisse bei realen degradierten Bildern erzielen kann, ohne dass ein identitätsbezogenes Referenzbild erforderlich ist. Der Quellcode und die Modelle sind unter \url{https://github.com/csxmli2016/DFDNet} verfügbar.