VTON-IT: Virtuelles Anprobieren mittels Bildübersetzung

Virtual Try-On (virtuelles Ausprobieren von Kleidung) ist eine vielversprechende Anwendung des Generative Adversarial Network (GAN). Die Übertragung eines gewünschten Kleidungsstücks auf die entsprechenden Körperregionen ist jedoch eine anspruchsvolle Aufgabe, bedingt durch unterschiedliche Körperformen, Körperhaltungen sowie Verdeckungen durch beispielsweise Haare oder sich überlagernde Kleidungsstücke. In diesem Paper zielen wir darauf ab, foto-realistische Bildtransformationen durch semantische Segmentierung und ein auf GAN-Architekturen basierendes Bildübersetzungsnetzwerk zu erzeugen. Wir stellen eine neuartige, bildbasierte Virtual-Try-On-Anwendung namens VTON-IT vor, die ein RGB-Bild als Eingabe erhält, die gewünschten Körperregionen segmentiert und das Zielkleidungsstück über die segmentierten Körperbereiche legt. Die meisten aktuellen GAN-basierten Virtual-Try-On-Anwendungen erzeugen auf realen Testbildern ungenaue, pixelartige Synthesebilder. Unser Ansatz hingegen generiert hochauflösende, natürliche Bilder mit detaillierten Texturen auch bei variablen Eingabebildern.