Poly-GAN: Mehrfachbedingte GAN für die Mode-Synthese

Wir präsentieren Poly-GAN, eine neuartige bedingte GAN-Architektur, die durch die Anwendung der Mode-Synthese motiviert ist, bei der Kleidungsstücke automatisch auf Bilder menschlicher Modelle in einer beliebigen Pose platziert werden. Poly-GAN ermöglicht die Bedingung auf mehrere Eingaben und eignet sich für zahlreiche Aufgaben, darunter Bildalignment, Bildstitching und Inpainting. Bestehende Methoden folgen einem ähnlichen Pipeline-Ansatz, bei dem drei verschiedene Netzwerke verwendet werden, um zunächst die Kleidung an die menschliche Pose auszurichten, dann das ausgerichtete Kleidungsstück zu stitchen und schließlich die Ergebnisse zu verfeinern. Poly-GAN ist das erste Beispiel, bei dem eine gemeinsame Architektur zur Durchführung all dieser drei Aufgaben genutzt wird. Unsere neuartige Architektur setzt die Bedingungen in allen Schichten des Encoders durch und nutzt Skip-Verbindungen von den groben Schichten des Encoders zu den entsprechenden Schichten des Decoders. Poly-GAN ist in der Lage, eine räumliche Transformation des Kleidungsstücks basierend auf dem RGB-Skelett des Modells in einer beliebigen Pose durchzuführen. Zudem kann Poly-GAN Bildstitching unabhängig von der Orientierung des Kleidungsstücks durchführen und Inpainting auf der Kleidungsmaske durchführen, wenn diese irreguläre Löcher enthält. Unser System erreicht state-of-the-art quantitative Ergebnisse hinsichtlich des Structural Similarity Index (SSIM) und des Inception Score auf dem DeepFashion-Datensatz.