HyperAIHyperAI

Command Palette

Search for a command to run...

Kohärente semantische Aufmerksamkeit für Bildinpainting

Hongyu Liu Bin Jiang Yi Xiao Chao Yang

Zusammenfassung

Die neuesten Ansätze auf Basis des tiefen Lernens haben vielversprechende Ergebnisse bei der anspruchsvollen Aufgabe der Inpainting von fehlenden Bildbereichen gezeigt. Dennoch erzeugen die bestehenden Methoden oft Inhalte mit verschwommenen Texturen und verzerrten Strukturen aufgrund der Unstetigkeit der lokalen Pixel. Aus semantischer Sicht ist die lokale Pixelunstetigkeit hauptsächlich darauf zurückzuführen, dass diese Methoden die semantische Relevanz und die Merkmalskontinuität der Lochbereiche ignorieren. Um dieses Problem zu lösen, untersuchen wir das menschliche Verhalten beim Reparieren von Bildern und schlagen einen verfeinerten Ansatz basierend auf einem tiefen Generativen Modell vor, der eine neuartige kohärente semantische Aufmerksamkeitsschicht (CSA) enthält. Diese Schicht kann nicht nur den kontextuellen Aufbau bewahren, sondern auch effektivere Vorhersagen der fehlenden Teile durch das Modellieren der semantischen Relevanz zwischen den Lochmerkmalen treffen. Die Aufgabe wird in zwei Schritte unterteilt: einen groben Schritt und einen Verfeinerungsschritt, wobei jedes dieser Schritte mit einem neuronalen Netzwerk unter der U-Net-Architektur modelliert wird. Dabei wird die CSA-Schicht in den Encoder des Verfeinerungsschritts eingebettet. Um den Trainingsprozess des Netzes zu stabilisieren und die CSA-Schicht dazu zu bringen, effektivere Parameter zu lernen, schlagen wir einen Konsistenzverlust vor, um sowohl die CSA-Schicht als auch die entsprechende Schicht im Decoder dem VGG-Merkmalslayer eines Referenzbildes anzunähern. Experimente mit den Datensätzen CelebA, Places2 und Paris StreetView haben die Effektivität unserer vorgeschlagenen Methoden bei Inpainting-Aufgaben bestätigt und zeigen, dass sie Bilder von höherer Qualität erzeugen können im Vergleich zu den aktuellen besten Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp