Zur Wiederherstellung von blinden Gesichtern in der realen Welt mit generativen Gesichtsprioren

Blinde Gesichtsrestauration basiert in der Regel auf Gesichtsprioren, wie zum Beispiel geometrischen Gesichtsprioren oder Referenzprioren, um realistische und treue Details wiederherzustellen. Allerdings können sehr niedrige Eingangsaufnahmen keine genaue geometrische Vorinformation bieten, während hochwertige Referenzen nicht verfügbar sind. Dies begrenzt die Anwendbarkeit in realen Szenarien. In dieser Arbeit schlagen wir GFP-GAN vor, das reichhaltige und vielfältige Prioren nutzt, die in einem vortrainierten Gesichts-GAN (Generative Adversarial Network) kapselt, um blinde Gesichtsrestauration durchzuführen. Diese generative Gesichtsvorinformation (GFP) wird durch neuartige Kanalsplit-Spatial-Feature-Transform-Layers in den Restaurationsprozess integriert, was es ermöglicht, eine gute Balance zwischen Realismus und Treue zu erzielen. Dank der leistungsfähigen generativen Gesichtsvorinformation und sorgfältiger Gestaltung kann unser GFP-GAN sowohl Gesichtsdetails als auch Farben mit nur einem einzigen Vorwärtsdurchgang simultan restaurieren, während GAN-Inversionsmethoden bei der Inferenz kostspielige bildspezifische Optimierungen erfordern. Ausführliche Experimente zeigen, dass unsere Methode sowohl auf synthetischen als auch auf realen Datensätzen eine überlegene Leistung im Vergleich zu früheren Arbeiten erzielt.