Répositionnement du sujet au sein de l’image

La manipulation d’images actuelle se concentre principalement sur des opérations statiques, telles que le remplacement de régions spécifiques au sein d’une image ou la modification de son style global. Dans ce papier, nous introduisons une tâche innovante de manipulation dynamique, appelée répositionnement de sujet. Cette tâche consiste à déplacer un sujet spécifié par l’utilisateur vers une position souhaitée tout en préservant la fidélité de l’image. Nos recherches révèlent que les sous-tâches fondamentales du répositionnement de sujet — à savoir combler le vide laissé par le sujet déplacé, reconstruire les parties du sujet obscures et fusionner le sujet de manière cohérente avec les zones environnantes — peuvent être efficacement reformulées comme une tâche unifiée de remplissage guidé par une requête (inpainting guidé par prompt). Par conséquent, nous pouvons utiliser un seul modèle génératif à diffusion pour traiter ces sous-tâches en s’appuyant sur diverses requêtes spécifiques, apprises grâce à notre technique proposée d’inversion de tâche. En outre, nous intégrons des techniques de prétraitement et de post-traitement afin d’améliorer davantage la qualité du répositionnement de sujet. Ces composants forment ensemble notre cadre SEELE (SEgment-gEnerate-and-bLEnd). Pour évaluer l’efficacité de SEELE dans le répositionnement de sujet, nous avons constitué un jeu de données réel, appelé ReS. Les résultats obtenus par SEELE sur ReS démontrent sa performance remarquable. Le code source et le jeu de données ReS sont disponibles à l’adresse suivante : https://yikai-wang.github.io/seele/.