HyperAIHyperAI

Command Palette

Search for a command to run...

Hohe-Fidelity pluralistische Bildergänzung mit Transformers

Ziyu Wan Jingbo Zhang Dongdong Chen Jing Liao

Zusammenfassung

Die Bildergänzung hat dank der leistungsstarken Texturmodellierungsfähigkeit von Faltungsneuralen Netzen (CNNs) erhebliche Fortschritte erzielt. Aufgrund einiger inhärenter Eigenschaften – beispielsweise lokaler induktiver Vorwissen und rauminvarianter Kerne – erzielen CNNs jedoch nur begrenzte Ergebnisse bei der Erfassung globaler Strukturen oder der natürlichen Unterstützung pluralistischer Ergänzungen. Kürzlich haben Transformer ihr Potenzial bei der Modellierung langfristiger Beziehungen und der Generierung vielfältiger Ergebnisse unter Beweis gestellt, ihre Rechenkomplexität ist jedoch quadratisch in der Eingabedauer, was ihre Anwendung bei der Verarbeitung hochauflösender Bilder einschränkt. In dieser Arbeit vereint das vorgeschlagene Verfahren die Stärken beider Ansätze für die pluralistische Bildergänzung: die Rekonstruktion von Erscheinungsvorwissen mittels Transformer und die Texturergänzung mittels CNN. Der erste Transformer rekonstruiert gleichzeitig mehrere konsistente, strukturelle Vorgaben sowie grobe Texturanteile, während das nachfolgende CNN die lokalen Texturdetails der groben Vorwissen durch gezielte Führung anhand der hochauflösenden maskierten Bilder verbessert. Die vorgeschlagene Methode übertrifft die aktuell besten Methoden in drei zentralen Aspekten deutlich: 1) erhebliche Steigerung der Bildqualität, selbst im Vergleich zu deterministischen Ergänzungsverfahren; 2) bessere Vielfalt und höhere Bildtreue bei pluralistischer Ergänzung; 3) herausragende Generalisierungsfähigkeit bei großen Masken und auf allgemeinen Datensätzen wie ImageNet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp