Manipulation de la forme d'image à partir d'un seul échantillon d'entraînement augmenté

Dans cet article, nous présentons DeepSIM, un modèle génératif pour la manipulation conditionnelle d'images basé sur une seule image. Nous constatons que l'augmentation extensive est cruciale pour permettre l'entraînement à partir d'une seule image, et nous intégrons l'utilisation de la spline en plaque mince (TPS) comme méthode d'augmentation efficace. Notre réseau apprend à établir une correspondance entre une représentation primitive de l'image et l'image elle-même. Le choix d'une représentation primitive influence la facilité et l'expressivité des manipulations et peut être automatique (par exemple, les contours), manuelle (par exemple, la segmentation) ou hybride, telle que des contours superposés à des segmentations. Au moment de la manipulation, notre générateur permet de réaliser des modifications complexes des images en modifiant la représentation primitive d'entrée et en la faisant passer à travers le réseau. Notre méthode est montrée capable d'atteindre des performances remarquables dans les tâches de manipulation d'images.