GAN Prior Embedded Network für die blinden Gesichtsrestauration im freien Feld

Die Wiederherstellung von blinden Gesichtern (BFR) aus stark verschlechterten Gesichtsbildern im freien Feld ist ein sehr anspruchsvolles Problem. Aufgrund der hohen Komplexität des Problems und der komplizierten unbekannten Verschlechterungen führt das direkte Training eines tiefen neuronalen Netzes (DNN) in der Regel nicht zu akzeptablen Ergebnissen. Bestehende Methoden auf Basis von Generativen Adversariellen Netzen (GAN) können bessere Ergebnisse erzielen, neigen aber dazu, überglättete Wiederherstellungen zu generieren. In dieser Arbeit schlagen wir eine neue Methode vor, bei der zunächst ein GAN für die Erzeugung hochwertiger Gesichtsbilder gelernt wird und dieses als Prior-Decoder in ein U-förmiges DNN eingebettet wird. Anschließend wird das GAN-Prior-eingebettete DNN mit einer Reihe synthetischer niedriger Qualitätsgesichtsbilder feinjustiert. Die GAN-Blöcke sind so konzipiert, dass der latente Code und die Rauscheinrichtung, die dem GAN zugeführt werden, jeweils aus den tiefen und flachen Features des DNN generiert werden können. Dies ermöglicht es, die globale Gesichtsstruktur, lokale Gesichtsdetails und den Hintergrund des rekonstruierten Bildes zu kontrollieren. Das vorgeschlagene GAN-Prior-eingebettete Netzwerk (GPEN) ist einfach umzusetzen und kann visuell fotorealistische Ergebnisse erzeugen. Unsere Experimente zeigten, dass das vorgeschlagene GPEN sowohl quantitativ als auch qualitativ deutlich überlegen ist gegenüber den besten bisher bekannten BFR-Methoden, insbesondere bei der Wiederherstellung stark verschlechterter Gesichtsbilder im freien Feld. Der Quellcode und die Modelle können unter https://github.com/yangxy/GPEN abgerufen werden.