COCO-GAN: Generierung von Teilen durch bedingte Koordination

Aufgrund biologischer Einschränkungen können Menschen nur mit einem Teil der umgebenden Umgebung interagieren. Daher lernen wir, räumliche Beziehungen über eine Reihe von Beobachtungen zu analysieren, um die umliegende Umgebung zusammenzusetzen. Inspiriert durch dieses Verhalten und der Tatsache, dass Maschinen ebenfalls rechnerische Einschränkungen haben, schlagen wir das \underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN) vor. Dabei generiert der Generator Bilder in Teilen basierend auf ihren räumlichen Koordinaten als Bedingung. Auf der anderen Seite lernt der Diskriminator, die Realität über mehrere zusammengesetzte Bereiche durch globale Kohärenz, lokale Erscheinung und Kontinuität über Kanten hinweg zu bewerten. Obwohl während des Trainings niemals vollständige Bilder generiert werden, zeigen wir, dass COCO-GAN während der Inferenz \textbf{standardschlagende Qualitäten} von vollständigen Bildern erzeugen kann. Wir demonstrieren ferner eine Vielzahl neuer Anwendungen, die durch das Training des Netzes zur Wahrnehmung von Koordinaten ermöglicht werden. Zunächst führen wir eine Extrapolation zum gelernten Koordinatenmanifold durch und erzeugen außerhalb der Grenzen liegende Bereiche (off-the-boundary patches). In Kombination mit den ursprünglich generierten vollständigen Bildern kann COCO-GAN Bilder erzeugen, die größer sind als die Trainingsbeispiele, was wir als "jenseits der Grenzen" Erzeugung bezeichnen (beyond-boundary generation). Anschließend präsentieren wir die Generierung von Panoramen innerhalb eines zylindrischen Koordinatensystems, das die horizontal zyklische Topologie inhärent beibehält. Auf computergenerierter Seite verfügt COCO-GAN über ein eingebautes Paradigma „Teile und herrsche“, das den Speicherbedarf während des Trainings und der Inferenz reduziert, hohe Parallelität bietet und Teile von Bildern nach Bedarf generieren kann.