Freiform-Bildinpainting mit gatterter Faltung

Wir präsentieren ein generatives Bildinpainting-System zur Vervollständigung von Bildern mit freiformigen Masken und Anleitung. Das System basiert auf gittergesteuerten Faltungen (gated convolutions), die aus Millionen von Bildern ohne zusätzliche Beschriftungsarbeit gelernt wurden. Die vorgeschlagene gittergesteuerte Faltung löst das Problem der herkömmlichen Faltung, die alle Eingangspixel als gültig behandelt, indem sie einen lernfähigen dynamischen Merkmalsauswahlmechanismus für jeden Kanal an jedem räumlichen Standort durch alle Schichten bereitstellt. Zudem sind freiformige Masken in Bildern an beliebigen Stellen und in beliebiger Form möglich, wodurch globale und lokale GANs, die für eine einzelne rechteckige Maske entwickelt wurden, nicht mehr anwendbar sind. Daher stellen wir auch einen patchbasierten GAN-Verlust vor, den SN-PatchGAN genannten, indem wir einen spektralnormierten Diskriminator auf dichte Bildabschnitte anwenden. SN-PatchGAN ist einfach in seiner Formulierung, schnell und stabil im Training. Die Ergebnisse bei automatischem Bildinpainting und benutzergeführter Erweiterung zeigen, dass unser System bessere und flexiblere Ergebnisse als frühere Methoden erzeugt. Unser System unterstützt Benutzer dabei, ablenkende Objekte schnell zu entfernen, Bildlayouts zu modifizieren, Wasserzeichen zu entfernen und Gesichter zu bearbeiten. Der Quellcode, eine Demonstration und Modelle sind unter folgendem Link verfügbar: https://github.com/JiahuiYu/generative_inpainting