Lernen von verzerrten Leitungen für die Wiederherstellung von Gesichtern ohne Bezugsbild

Dieses Papier untersucht das Problem der blinden Gesichtsrestauration aus einem unbeschränkten unscharfen, rauschigen, niedrigen Auflösungsvermögens oder komprimierten Bild (d.h., degradierte Beobachtung). Um eine bessere Wiederherstellung feiner Gesichtsdetails zu erreichen, ändern wir die Problemstellung, indem wir sowohl die degradierte Beobachtung als auch ein hochwertiges Leitbild derselben Identität als Eingabe für unser geleitetes Gesichtsrestaurationsnetzwerk (GFRNet) verwenden. Allerdings sind die degradierte Beobachtung und das Leitbild in der Regel in Hinsicht auf Pose, Beleuchtung und Ausdruck unterschiedlich, was dazu führt, dass einfache CNNs (z.B. U-Net) versagen, feine und identitätsbewusste Gesichtsdetails wiederherzustellen. Um dieses Problem zu lösen, enthält unser GFRNet-Modell sowohl ein Verformungssubnetzwerk (WarpNet) als auch ein Rekonstruktionssubnetzwerk (RecNet). Das WarpNet wird eingeführt, um das Flussfeld zur Verformung des Leitbilds in korrekter Pose und Mimik (d.h., verformte Führung) vorherzusagen. Das RecNet nimmt die degradierte Beobachtung und die verformte Führung als Eingabe entgegen, um das Restaurationsergebnis zu erzeugen. Da das Ground-Truth-Flussfeld nicht verfügbar ist, werden Landmark-Loss zusammen mit Total-Variation-Regularisierung verwendet, um das Lernen des WarpNets zu leiten. Darüber hinaus, um das Modell für blinde Restauration anwendbar zu machen, wird unser GFRNet auf synthetischen Daten mit vielfältigen Einstellungen bezüglich Unschärfe-Kern, Rauschpegel, Downsampling-Skalierungsfaktor und JPEG-Qualitätsfaktor trainiert. Experimente zeigen, dass unser GFRNet nicht nur den neuesten Methoden der Bild- und Gesichtsrestauration überlegen ist, sondern auch visuell fotorealistische Ergebnisse bei realen degradierten Gesichtsbildern erzeugt.