Exemplar-Guidierte Super-Auflösung von Gesichtsbildern ohne Verwendung von Gesichtspunkten

Heutzutage gibt es aufgrund der allgegenwärtigen visuellen Medien bereits große Mengen an hochaufgelösten (HA) Gesichtsbildern. Daher ist es sehr wahrscheinlich, bei der Super-Resolution eines gegebenen sehr niedrig aufgelösten (NA) Gesichtsbildes einer Person ein weiteres HA-Gesichtsbild derselben Person zu finden, das als Leitbild verwendet werden kann, wobei Unterschiede im Alter, in der Mimik, Haltung oder Größe möglich sind. In dieser Arbeit schlagen wir eine Lösung basierend auf einem Faltungsneuronalen Netzwerk (CNN), nämlich GWAInet, vor, die eine Super-Resolution (SR) von Gesichtsbildern um den Faktor 8x durchführt und dabei von einem unbeschränkten HA-Leitbild derselben Person geleitet wird. GWAInet wird in einer feindlichen generativen Weise trainiert, um die gewünschten hochwertigen Wahrnehmungsbilder zu erzeugen. Die Nutzung des HA-Leitbilds wird durch den Einsatz eines Warpersubnetzes realisiert, das dessen Inhalte mit dem Eingangsbild ausrichtet, sowie durch eine Merkmalsfusionskette für die aus dem gewarpten Leitbild und dem Eingangsbild extrahierten Merkmale. Im Training unterstützt der Identitätsverlust die Erhaltung identitätsspezifischer Merkmale, indem er den Abstand zwischen den Einbettungsvektoren von SR- und HA-Referenzbildern minimiert. Im Gegensatz zum aktuellen Stand der Technik bei der Gesichtssuper-Resolution benötigt unsere Methode keine Gesichtspunkte für ihr Training, was ihre Robustheit erhöht und es ermöglicht, auch für die umliegende Gesichtsregion feine Details auf einheitliche Weise zu erzeugen. Unsere Methode GWAInet erzeugt fotorealistische Bilder bei einem Vergrößerungsfaktor von 8x und übertrifft den aktuellen Stand der Technik sowohl quantitativ als auch hinsichtlich der Wahrnehmungsqualität.