Zu einem mehrposegesteuerten virtuellen Anprobier-Netzwerk

Ein virtuelles Anprobiersystem unter beliebigen menschlichen Posebedingungen hat ein großes Anwendungspotential, wirft jedoch zahlreiche Herausforderungen auf, wie zum Beispiel Selbstverdeckungen, starke Fehlanpassungen bei unterschiedlichen Posen und vielfältige Kleidungstexturen. Bestehende Methoden, die darauf abzielen, neue Kleidungsstücke in eine Person zu integrieren, können Kleidungsstücke nur auf einer festen menschlichen Pose übertragen. Dennoch zeigen diese Methoden oft unzufriedenstellende Leistungen, da sie die Identität der Person nicht immer bewahren, Texturdetails verlieren und die Vielfalt der Posen verringern. In dieser Arbeit machen wir den ersten Versuch, ein mehrere-Posen-gesteuertes virtuelles Anprobiersystem zu entwickeln, das es ermöglicht, Kleidungsstücke auf einem Personbild unter verschiedenen Posen zu übertragen. Gegeben sind ein Eingangsbild einer Person, ein gewünschtes Bild eines Kleidungsstücks und eine gewünschte Pose. Das vorgeschlagene Mehrere-Posen-gesteuerte Virtuelle Anprobiernetzwerk (MG-VTON) kann ein neues Personbild generieren, nachdem es das gewünschte Kleidungsstück in das Eingangsbild eingefügt und die menschliche Pose manipuliert hat.Unser MG-VTON besteht aus drei Phasen: 1) Eine gewünschte menschliche Segmentierungskarte des Zielbilds wird synthetisiert, um sowohl die gewünschte Pose als auch die Form des gewünschten Kleidungsstücks abzubilden; 2) Ein tiefes Verformungsgeneratives adversariales Netzwerk (Warp-GAN) verformt das Erscheinungsbild des gewünschten Kleidungsstücks in die synthetisierte Segmentierungskarte und lindert das Problem der Fehlanpassung zwischen der Eingangs- und der gewünschten Pose; 3) Ein Raffinerierender Renderer mit Hilfe von mehreren-Pose-Kompositionsmasken (multi-pose composition masks) stellt die Texturdetails der Kleidung wieder her und entfernt einige Artefakte. Ausführliche Experimente auf bekannten Datensätzen sowie auf unserem neu gesammelten größten Benchmark für virtuelle Anprobiervorgänge zeigen, dass unser MG-VTON alle aktuellen Stand-der-Technik-Methoden sowohl qualitativ als auch quantitativ erheblich übertreffen kann und vielversprechende Leistungen im Bereich des mehrere-Posen-gesteuerten virtuellen Anprobierens erzielt.