Zu einer fotorealistischen virtuellen Anprobe durch adaptives Generieren ↔ Bewahren von Bildinhalten

Bildbasierte Versuchanziehung (Image visual try-on) zielt darauf ab, ein Zielkleidungsstück auf eine Referenzperson zu übertragen, und ist in den letzten Jahren zu einem vielbeachteten Forschungsthema geworden. Frühere Ansätze konzentrieren sich typischerweise darauf, die charakteristischen Merkmale eines Kleidungsstücks (z. B. Textur, Logo, Stickerei) beizubehalten, wenn es auf eine beliebige menschliche Pose deformiert wird. Dennoch bleibt die Erzeugung von foto-realistischen Versuchanziehungsbildern bei erheblichen Verdeckungen und komplexen Körperhaltungen der Referenzperson eine große Herausforderung. Um dieses Problem anzugehen, stellen wir ein neuartiges Netzwerk für bildbasierte Versuchanziehung vor: das Adaptive Content Generating and Preserving Network (ACGPN). Insbesondere prognostiziert ACGPN zunächst die semantische Anordnung des Referenzbildes, die sich nach der Versuchanziehung ändern wird (z. B. Langarmshirt → Arm, Arm → Jacke), und bestimmt dann basierend auf dieser vorhergesagten semantischen Struktur, ob bestimmte Bildinhalte generiert oder beibehalten werden müssen. Dadurch gelingt die Erzeugung von foto-realistischen Versuchanziehungsbildern mit reichhaltigen Kleidungsdetails. ACGPN besteht im Wesentlichen aus drei zentralen Modulen: Erstens ein Modul zur Generierung semantischer Layouts, das mithilfe der semantischen Segmentierung des Referenzbildes schrittweise das gewünschte semantische Layout nach der Versuchanziehung vorhersagt. Zweitens ein Kleidungsdeformationsmodul, das die Kleidungsbilder gemäß dem generierten semantischen Layout verformt, wobei eine zweite Ableitungsbeschränkung eingeführt wird, um den Deformationsprozess während des Trainings zu stabilisieren. Drittens ein Inpainting-Modul zur Inhaltsfusion, das sämtliche Informationen (z. B. Referenzbild, semantisches Layout, verformte Kleidung) integriert, um adaptiv jeweils die einzelnen semantischen Bereiche des menschlichen Körpers zu generieren. Im Vergleich zu aktuellen State-of-the-Art-Methoden kann ACGPN foto-realistische Bilder mit deutlich besserer perceptueller Qualität und viel reichhaltigeren feinen Details erzeugen.