Deformierbare GANs für die posebasierte Generierung von Menschenbildern

In dieser Arbeit adressieren wir das Problem der Erzeugung von Personbildern unter Berücksichtigung einer gegebenen Pose. Speziell geht es darum, bei einem Bild einer Person und einer Zielpose ein neues Bild dieser Person in der neuen Pose zu synthetisieren. Um die Pixel-zu-Pixel-Fehlanpassungen, die durch die Posendifferenzen verursacht werden, zu bewältigen, führen wir formbare Skip-Verbindungen im Generator unseres Generativen Wettbewerbsnetzes (Generative Adversarial Network) ein. Darüber hinaus schlagen wir einen nächsten-Nachbarn-Verlust (nearest-neighbour loss) vor, anstelle der üblichen L1- und L2-Verlustfunktionen, um die Details des generierten Bildes mit denen des Zielbildes abzugleichen. Wir testen unseren Ansatz anhand von Fotos von Personen in verschiedenen Posen und vergleichen unsere Methode mit früheren Arbeiten in diesem Bereich, wobei wir den Stand der Technik in zwei Benchmarks aufzeigen. Unsere Methode kann auf das breitere Feld der Erzeugung deformierbarer Objekte angewendet werden, vorausgesetzt, die Pose des artikulierten Objekts kann mithilfe eines Keypoint-Detektors extrahiert werden.