HyperAIHyperAI

Command Palette

Search for a command to run...

Zu robustem blinden Gesichtsrestauration mit Codebook-Lookup-Transformer

Shangchen Zhou Kelvin C.K. Chan Chongyi Li Chen Change Loy

Zusammenfassung

Die Wiederherstellung von blinden Gesichtern ist ein hochgradig schlecht gestelltes Problem, das oft zusätzliche Anleitungen erfordert, um 1) die Abbildung von verschlechterten Eingaben auf gewünschte Ausgaben zu verbessern oder 2) hochwertige Details zu ergänzen, die in den Eingaben verloren gegangen sind. In dieser Arbeit zeigen wir, dass ein gelerntes diskretes Codebuch-Prior in einem kleinen Proxy-Raum die Unsicherheit und Mehrdeutigkeit der Wiederherstellungsabbildung durch die Umformulierung der blinden Gesichtswiederherstellung als Code-Vorhersage-Aufgabe erheblich reduziert, während es reiche visuelle Atome für die Generierung hochwertiger Gesichter bereitstellt. Innerhalb dieses Paradigmas schlagen wir ein auf Transformer basierendes Vorhersagenetzwerk vor, das CodeFormer genannt wird. Dieses Netzwerk modelliert die globale Komposition und den Kontext von niedriger Qualitätsgesichtern für die Code-Vorhersage, was es ermöglicht, natürliche Gesichter zu entdecken, die selbst bei stark verschlechterten Eingaben dem Zielgesicht nahekommen. Um die Anpassungsfähigkeit an verschiedene Verschlechterungen zu erhöhen, schlagen wir auch ein steuerbares Merkmals-Transformationsmodul vor, das einen flexiblen Kompromiss zwischen Treue und Qualität ermöglicht. Dank des ausdrucksstarken Codebuch-Priors und der globalen Modellierung übertrifft CodeFormer sowohl in Bezug auf Qualität als auch auf Treue den aktuellen Stand der Technik und zeigt eine überlegene Robustheit gegenüber Verschlechterungen. Ausführliche experimentelle Ergebnisse an synthetischen und realen Datensätzen bestätigen die Effektivität unserer Methode.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp