Hochauflösendes Bild-Inpainting mit iterativer Vertrauensrückmeldung und geführter Upsampling

Bekannte Methoden zur Bildinpainting erzeugen in der Praxis häufig Artefakte, wenn große Löcher zu füllen sind. Um diese Herausforderung zu bewältigen, schlagen wir eine iterative Inpainting-Methode mit einem Rückkopplungsmechanismus vor. Konkret führen wir ein tiefes generatives Modell ein, das nicht nur ein Inpainting-Ergebnis, sondern auch eine entsprechende Zuverlässigkeitskarte ausgibt. Unter Verwendung dieser Karte als Rückkopplung füllt das Modell den Lochbereich schrittweise aus, indem es sich ausschließlich auf Pixel mit hoher Zuverlässigkeit innerhalb des Lochs in jeder Iteration verlässt und sich in der nächsten Iteration auf die verbleibenden Pixel konzentriert. Da es Teilergebnisse aus vorherigen Iterationen als bekannte Pixel wiederverwendet, verbessert sich das Ergebnis kontinuierlich. Zusätzlich schlagen wir ein geführtes Aufsampling-Netzwerk vor, um hochauflösende Inpainting-Ergebnisse zu erzeugen. Dies erreichen wir, indem wir das Contextual Attention-Modul erweitern, um hochauflösende Merkmalspatches aus dem Eingabebild zu übernehmen. Außerdem sammeln wir zur Nachahmung realer Objekterfassungsszenarien eine große Datensammlung von Objektmasken und synthetisieren realistischere Trainingsdaten, die Benutzereingaben besser simulieren. Experimente zeigen, dass unsere Methode sowohl quantitativ als auch qualitativ signifikant gegenüber bestehenden Methoden übertrifft. Weitere Ergebnisse und eine Web-App sind unter https://zengxianyu.github.io/iic verfügbar.