Globale und lokale Aufmerksamkeitsbasierte Freiform-Bildinpainting

Basiert auf Deep Learning stehende Methoden zur Bild-Inpainting haben sowohl bei rechteckigen als auch bei unregelmäßigen Löchern erhebliches Versprechen gezeigt. Allerdings stellen unregelmäßige Löcher aufgrund der Unsicherheiten in Form und Lage zahlreiche Herausforderungen dar. Bei einer reinen Abhängigkeit von konvolutionellen neuronalen Netzen (CNN) oder adversarialer Supervision kann eine plausibel erscheinende Inpainting-Ergebnis nicht garantiert werden, da unregelmäßige Löcher eine auf Aufmerksamkeit basierende Anleitung erfordern, um relevante Informationen für die Inhaltsgenerierung zu erfassen. In diesem Paper stellen wir zwei neue Aufmerksamkeitsmechanismen vor: einen globalen Aufmerksamkeitsmodul auf Basis von Masken-Pruning sowie einen Modul für globale und lokale Aufmerksamkeit, um globale Abhängigkeitsinformationen sowie lokale Ähnlichkeitsinformationen zwischen den Merkmalen zu erlangen und somit präzisere Ergebnisse zu erzielen. Die vorgeschlagene Methode wird anhand von State-of-the-Art-Verfahren evaluiert, und die experimentellen Ergebnisse zeigen, dass unsere Methode gegenüber bestehenden Ansätzen sowohl quantitativ als auch qualitativ überlegen ist.