Großflächige Bildergänzung mittels ko-modulierten generativen adversarialen Netzwerken

Numerose auf spezifische Aufgaben zugeschnittene Varianten bedingter generativer adversarialer Netzwerke (conditional GANs) wurden für die Bildergänzung entwickelt. Dennoch bleibt eine gravierende Einschränkung bestehen: Alle bestehenden Algorithmen neigen dazu, bei der Bearbeitung großer fehlender Bildregionen zu versagen. Um diese Herausforderung zu überwinden, schlagen wir einen generischen neuen Ansatz vor, der die Lücke zwischen bildbedingten und jüngsten modulierten unbedingten generativen Architekturen durch eine Co-Modulation sowohl bedingter als auch stochastischer Stilrepräsentationen schließt. Zudem fehlen derzeit zuverlässige quantitative Metriken zur Bewertung der Bildergänzung. Daher führen wir den neuen Paired/Unpaired Inception Discriminative Score (P-IDS/U-IDS) ein, der die perceptuelle Treue der ergänzten Bilder im Vergleich zu echten Bildern robust über die lineare Trennbarkeit im Merkmalsraum misst. Experimente zeigen eine überlegene Leistung sowohl hinsichtlich der Qualität als auch der Vielfalt im Vergleich zu aktuellen State-of-the-Art-Methoden bei freiformiger Bildergänzung sowie eine einfache Verallgemeinerung auf die Bild-zu-Bild-Übersetzung. Der Quellcode ist unter https://github.com/zsyzzsoft/co-mod-gan verfügbar.