Verbesserte Residuen-Netzwerke für kontextbasiertes Bildausmalen

Obwohl Menschen gut darin sind, vorherzusagen, was jenseits der Grenzen eines Bildes existiert, haben tiefere Modelle Schwierigkeiten, Kontext und Extrapolation durch beibehaltene Informationen zu verstehen. Diese Aufgabe wird als Bildausmalung (image outpainting) bezeichnet und besteht darin, realistische Erweiterungen der Bildgrenzen zu generieren. Aktuelle Modelle verwenden generatorische adversarische Netze (generative adversarial networks), um Ergebnisse zu erzeugen, die an lokalisierten Bildmerkmalen inkonsistent sind und künstlich erscheinen. Wir schlagen zwei Methoden vor, um dieses Problem zu verbessern: die Verwendung eines lokalen und globalen Diskriminators sowie die Hinzufügung von Residual-Blöcken im Codierungsteil des Netzwerks. Vergleiche zwischen unserem Modell und dem Baseline-Modell in Bezug auf den L1-Verlust, den mittleren quadratischen Fehler (MSE) und die qualitativen Unterschiede zeigen, dass unser Modell in der Lage ist, Objektgrenzen natürlicher zu verlängern und Bilder mit höherer internen Konsistenz zu erzeugen als aktuelle Methoden, jedoch Bilder mit geringerer Treue reproduziert.