Progressive semantische stylesensible Transformation für die blinde Gesichtsrestauration

Die Gesichtserstellung ist ein wichtiger Aspekt der Gesichtsbildverarbeitung und wurde in den letzten Jahren intensiv untersucht. Allerdings scheitern vorherige Arbeiten oft daran, plausibel hochwertige (HQ) Ergebnisse für realweltliche niedrigwertige (LQ) Gesichtsbilder zu generieren. In dieser Arbeit schlagen wir einen neuen progressiven semantikbasierten Stilverwandlungsrahmen vor, der als PSFR-GAN bezeichnet wird, um die Gesichtserstellung zu verbessern. Insbesondere verwenden wir im Gegensatz zu früheren Methoden, die auf einem Enkoder-Dekoder-Rahmen basieren, eine mehrstufige progressive Restaurierungsprozedur durch semantikbasierte Stilverwandlung zur Erstellung von LQ-Gesichtsbildern. Gegeben ein Paar aus einem LQ-Gesichtsbild und dessen entsprechender Segmentierungskarte, erzeugen wir zunächst eine mehrstufige Pyramide der Eingaben und modulieren dann die Merkmale in verschiedenen Skalen schrittweise von grob zu fein in einer semantikbasierten Stilverwandlungsweise. Im Vergleich zu früheren Netzwerken nutzt das vorgeschlagene PSFR-GAN die semantischen (Segmentierungskarten) und pixelbasierten (LQ-Bilder) Informationen aus den verschiedenen Skalen der Eingabepaare vollständig aus. Darüber hinaus führen wir einen semantikbasierten Stilverlust ein, der den Merkmalsstilverlust für jede semantische Region einzeln berechnet, um die Details der Gesichtstexturen zu verbessern. Schließlich trainieren wir ein vorgefertigtes Gesichtssegmentierungsnetzwerk, das anständige Segmentierungskarten aus realweltlichen LQ-Gesichtsbildern erzeugen kann. Die Experimentsergebnisse zeigen, dass unser Modell, das mit synthetischen Daten trainiert wurde, nicht nur realistischere hochaufgelöste Ergebnisse für synthetische LQ-Eingaben produziert, sondern auch besser auf natürliche LQ-Gesichtsbilder verallgemeinert im Vergleich zu den neuesten Methoden. Der Quellcode ist unter https://github.com/chaofengc/PSFRGAN verfügbar.