Zu robustem blinden Gesichtsrestauration mit Codebook-Lookup-Transformer

Die Wiederherstellung von blinden Gesichtern ist ein hochgradig schlecht gestelltes Problem, das oft zusätzliche Anleitungen erfordert, um 1) die Abbildung von verschlechterten Eingaben auf gewünschte Ausgaben zu verbessern oder 2) hochwertige Details zu ergänzen, die in den Eingaben verloren gegangen sind. In dieser Arbeit zeigen wir, dass ein gelerntes diskretes Codebuch-Prior in einem kleinen Proxy-Raum die Unsicherheit und Mehrdeutigkeit der Wiederherstellungsabbildung durch die Umformulierung der blinden Gesichtswiederherstellung als Code-Vorhersage-Aufgabe erheblich reduziert, während es reiche visuelle Atome für die Generierung hochwertiger Gesichter bereitstellt. Innerhalb dieses Paradigmas schlagen wir ein auf Transformer basierendes Vorhersagenetzwerk vor, das CodeFormer genannt wird. Dieses Netzwerk modelliert die globale Komposition und den Kontext von niedriger Qualitätsgesichtern für die Code-Vorhersage, was es ermöglicht, natürliche Gesichter zu entdecken, die selbst bei stark verschlechterten Eingaben dem Zielgesicht nahekommen. Um die Anpassungsfähigkeit an verschiedene Verschlechterungen zu erhöhen, schlagen wir auch ein steuerbares Merkmals-Transformationsmodul vor, das einen flexiblen Kompromiss zwischen Treue und Qualität ermöglicht. Dank des ausdrucksstarken Codebuch-Priors und der globalen Modellierung übertrifft CodeFormer sowohl in Bezug auf Qualität als auch auf Treue den aktuellen Stand der Technik und zeigt eine überlegene Robustheit gegenüber Verschlechterungen. Ausführliche experimentelle Ergebnisse an synthetischen und realen Datensätzen bestätigen die Effektivität unserer Methode.