InfinityGAN: Hin zu einer Bildsynthese mit unendlich vielen Pixeln

Wir präsentieren einen neuartigen Ansatz, InfinityGAN, zur Generierung von Bildern beliebiger Größe. Diese Aufgabe ist mit mehreren zentralen Herausforderungen verbunden. Erstens ist die Skalierung bestehender Modelle auf eine beliebig große Bildgröße ressourcenintensiv, sowohl hinsichtlich der Rechenleistung als auch der Verfügbarkeit von Trainingsdaten mit großem Gesichtsfeld. InfinityGAN trainiert und inferiert nahtlos patchweise mit geringem Rechenaufwand. Zweitens müssen große Bilder lokal und global konsistent sein, wiederholende Muster vermeiden und realistisch wirken. Um dies zu erreichen, entkoppelt InfinityGAN globale Erscheinungsbilder, lokale Strukturen und Texturen. Mit dieser Formulierung gelingt es uns, Bilder mit bisher nicht erreichbarer räumlicher Auflösung und Detailgenauigkeit zu generieren. Experimentelle Evaluierungen bestätigen, dass InfinityGAN Bilder mit überlegener Realitätsnähe im Vergleich zu Baselines erzeugt und eine parallele Inferenz ermöglicht. Schließlich zeigen wir mehrere Anwendungen, die durch unseren Ansatz möglich werden, wie beispielsweise räumliche Stilfusion, multimodale Outpainting und Bildinterpolation. Alle Anwendungen lassen sich mit beliebigen Eingabe- und Ausgabegrößen betreiben. Die vollständige Fassung des Papers finden Sie unter https://openreview.net/forum?id=ufGMqIM0a4b.