EdgeConnect : Complétion d'images génératives avec apprentissage adversarial des contours

Au cours des dernières années, les techniques d'apprentissage profond ont permis des améliorations significatives dans le domaine de l'interpolation d'images. Cependant, beaucoup de ces techniques échouent à reconstruire des structures raisonnables car elles sont généralement trop lisses et/ou floues. Cet article présente une nouvelle approche pour l'interpolation d'images qui reproduit mieux les régions remplies présentant des détails fins. Nous proposons un modèle adversarial en deux étapes nommé EdgeConnect, composé d'un générateur de contours suivi d'un réseau de complétion d'images. Le générateur de contours imagine les contours de la région manquante de l'image (à la fois régulière et irrégulière), et le réseau de complétion d'images remplit les régions manquantes en utilisant les contours imaginés comme information a priori. Nous évaluons notre modèle dans son ensemble sur les jeux de données publiquement disponibles CelebA, Places2 et Paris StreetView, et montrons qu'il surpasse quantitativement et qualitativement les techniques actuelles de pointe. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/knazeri/edge-connect