Command Palette
Search for a command to run...
Deformable GANs für die posebasierte Generierung menschlicher Bilder
Deformable GANs für die posebasierte Generierung menschlicher Bilder
Siarohin Aliaksandr Sangineto Enver Lathuiliere Stephane Sebe Nicu
Zusammenfassung
In diesem Artikel behandeln wir das Problem der Generierung von Personenbildern unter der Bedingung einer vorgegebenen Pose. Genauer gesagt, gegeben ein Bild einer Person und eine Zielpose, synthetisieren wir ein neues Bild derselben Person in der neuen Pose. Um Pixel-zu-Pixel-Verzerrungen zu begegnen, die durch Unterschiede in der Pose verursacht werden, führen wir deformierbare Skip-Verbindungen im Generator unseres Generativen adversarialen Netzes (GAN) ein. Zudem wird anstelle der üblichen L1- und L2-Verluste ein Nachbarschaftsverlust (nearest-neighbour loss) vorgeschlagen, um die Details des generierten Bildes besser mit dem Zielbild zu matchen. Wir testen unseren Ansatz an Fotos von Personen in verschiedenen Posen und vergleichen unsere Methode mit vorhergehenden Arbeiten in diesem Bereich, wobei wir state-of-the-art-Ergebnisse in zwei Benchmarks erzielen. Unser Verfahren lässt sich auf weiterreichende Anwendungen im Bereich der Deformationsgenerierung von Objekten anwenden, sofern die Pose des beweglichen Objekts mittels eines Keypoint-Detektors extrahiert werden kann.