Complétion d'images à grande échelle par réseaux antagonistes génératifs à modulation coopérative

De nombreuses variantes spécifiques à des tâches des réseaux antagonistes génératifs conditionnels ont été développées pour la complétion d’images. Toutefois, une limitation sérieuse persiste : toutes les méthodes existantes ont tendance à échouer lorsqu’elles sont confrontées à de grandes régions manquantes. Pour surmonter ce défi, nous proposons une nouvelle approche générique qui comble le fossé entre les architectures génératives conditionnelles classiques et les récentes architectures génératives sans condition modulées, en introduisant une co-modulation des représentations stylistiques conditionnelles et stochastiques. En outre, en raison du manque de métriques quantitatives fiables pour la complétion d’images, nous introduisons un nouveau score, le Paired/Unpaired Inception Discriminative Score (P-IDS/U-IDS), qui évalue de manière robuste la fidélité perceptuelle des images complétées par rapport aux images réelles, en mesurant la séparabilité linéaire dans un espace de caractéristiques. Les expériences montrent une performance supérieure en termes de qualité et de diversité par rapport aux méthodes de pointe dans la complétion d’images librement formées, ainsi qu’une généralisation aisée vers la traduction image à image. Le code est disponible à l’adresse suivante : https://github.com/zsyzzsoft/co-mod-gan.