Bipartite Graph Reasoning GANs für die Personenbildgenerierung

Wir präsentieren einen neuartigen Bipartiten Graph Reasoning GAN (BiGraphGAN) für die anspruchsvolle Aufgabe der Personabbildungsgenerierung. Der vorgeschlagene Graph-Generator besteht hauptsächlich aus zwei neuen Blöcken, die jeweils darauf abzielen, die Beziehungen zwischen Pose-zu-Pose und Pose-zu-Bild zu modellieren. Insbesondere zielt der vorgeschlagene Bipartite Graph Reasoning (BGR)-Block darauf ab, die kreuzenden langstreckigen Beziehungen zwischen der Quellpose und der Zielpose in einem bipartiten Graphen zu analysieren, wodurch einige Herausforderungen, die durch Pose-Verzerrungen verursacht werden, gemildert werden. Darüber hinaus schlagen wir einen neuen Interaction-and-Aggregation (IA)-Block vor, um die Merkmalsrepräsentationsfähigkeit sowohl der Körperform als auch des Erscheinungsbilds der Person interaktiv effektiv zu aktualisieren und zu verbessern. Experimente an zwei anspruchsvollen und öffentlichen Datensätzen, nämlich Market-1501 und DeepFashion, belegen die Wirksamkeit des vorgeschlagenen BiGraphGAN hinsichtlich objektiver quantitativer Bewertungen sowie subjektiver visueller Realitätsnähe. Der Quellcode und die trainierten Modelle sind unter https://github.com/Ha0Tang/BiGraphGAN verfügbar.