EdgeConnect: Generative Bildinpainting mit adversarialem Kantenerkennungslernen

In den letzten Jahren haben tiefes Lernen-Techniken erhebliche Verbesserungen bei der Bildinpainting erzielt. Viele dieser Techniken scheitern jedoch daran, vernünftige Strukturen zu rekonstruieren, da sie häufig überglättet und/oder unscharf sind. In dieser Arbeit wird ein neuer Ansatz für die Bildinpainting entwickelt, der eine bessere Reproduktion von gefüllten Bereichen mit feinen Details ermöglicht. Wir schlagen ein zweistufiges adversariales Modell EdgeConnect vor, das aus einem Kantenerzeuger und einem Bildvervollständigungsnetzwerk besteht. Der Kantenerzeuger generiert Kanten des fehlenden Bereichs (sowohl regulär als auch irregulär) des Bildes, während das Bildvervollständigungsnetzwerk die fehlenden Bereiche unter Verwendung der generierten Kanten als Vorinformation füllt. Unser Modell wurde end-to-end auf den öffentlich zugänglichen Datensätzen CelebA, Places2 und Paris StreetView evaluiert, wobei wir zeigen, dass es sowohl quantitativ als auch qualitativ die aktuellen Stand-der-Technik-Methoden übertrifft. Quellcode und Modelle sind unter folgendem Link verfügbar: https://github.com/knazeri/edge-connect