Kohärente semantische Aufmerksamkeit für Bildinpainting

Die neuesten Ansätze auf Basis des tiefen Lernens haben vielversprechende Ergebnisse bei der anspruchsvollen Aufgabe der Inpainting von fehlenden Bildbereichen gezeigt. Dennoch erzeugen die bestehenden Methoden oft Inhalte mit verschwommenen Texturen und verzerrten Strukturen aufgrund der Unstetigkeit der lokalen Pixel. Aus semantischer Sicht ist die lokale Pixelunstetigkeit hauptsächlich darauf zurückzuführen, dass diese Methoden die semantische Relevanz und die Merkmalskontinuität der Lochbereiche ignorieren. Um dieses Problem zu lösen, untersuchen wir das menschliche Verhalten beim Reparieren von Bildern und schlagen einen verfeinerten Ansatz basierend auf einem tiefen Generativen Modell vor, der eine neuartige kohärente semantische Aufmerksamkeitsschicht (CSA) enthält. Diese Schicht kann nicht nur den kontextuellen Aufbau bewahren, sondern auch effektivere Vorhersagen der fehlenden Teile durch das Modellieren der semantischen Relevanz zwischen den Lochmerkmalen treffen. Die Aufgabe wird in zwei Schritte unterteilt: einen groben Schritt und einen Verfeinerungsschritt, wobei jedes dieser Schritte mit einem neuronalen Netzwerk unter der U-Net-Architektur modelliert wird. Dabei wird die CSA-Schicht in den Encoder des Verfeinerungsschritts eingebettet. Um den Trainingsprozess des Netzes zu stabilisieren und die CSA-Schicht dazu zu bringen, effektivere Parameter zu lernen, schlagen wir einen Konsistenzverlust vor, um sowohl die CSA-Schicht als auch die entsprechende Schicht im Decoder dem VGG-Merkmalslayer eines Referenzbildes anzunähern. Experimente mit den Datensätzen CelebA, Places2 und Paris StreetView haben die Effektivität unserer vorgeschlagenen Methoden bei Inpainting-Aufgaben bestätigt und zeigen, dass sie Bilder von höherer Qualität erzeugen können im Vergleich zu den aktuellen besten Methoden.