Amélioration de texture adaptative par région pour la synthèse d’images détaillées de personnes

La capacité à produire des détails texturaux convaincants est essentielle pour garantir la fidélité des images de personnes synthétisées. Toutefois, les méthodes existantes suivent généralement une stratégie basée sur le « warping », qui propage les caractéristiques d’apparence par le même chemin utilisé pour le transfert de posture. Or, la plupart des détails fins sont perdus en raison du downsampling, ce qui entraîne des vêtements trop lissés et des détails manquants dans les images de sortie. Dans cet article, nous présentons RATE-Net, un cadre novateur pour la synthèse d’images de personnes dotées de détails texturaux nets. Le cadre proposé exploite un module supplémentaire d’amélioration de texture afin d’extraire des informations d’apparence à partir de l’image source et d’estimer une carte de texture résiduelle fine, qui contribue à affiner l’estimation grossière fournie par le module de transfert de posture. En outre, nous avons conçu une stratégie efficace de mise à jour alternée afin de favoriser une guidance mutuelle entre les deux modules, assurant ainsi une meilleure cohérence entre forme et apparence. Des expériences menées sur le jeu de données benchmark DeepFashion ont démontré l’avantage de notre cadre par rapport aux réseaux existants.