Adaptation de domaine ouvert antagoniste pour la synthèse de croquis en photo

Dans cet article, nous explorons la traduction de croquis à photo en domaine ouvert, qui vise à synthétiser une photo réaliste à partir d'un croquis libre et de sa classe, même si les croquis de cette classe sont absents des données d'entraînement. Cette tâche est complexe en raison du manque de supervision lors de l'entraînement et des grandes distorsions géométriques entre les domaines des croquis libres et des photos. Pour synthétiser les croquis libres absents à partir de photos, nous proposons un cadre qui apprend conjointement la génération de croquis à photo et de photo à croquis. Cependant, le générateur formé sur des croquis faux peut produire des résultats insatisfaisants lorsqu'il traite des croquis de classes manquantes, en raison du fossé entre les croquis synthétisés et les vrais. Pour atténuer ce problème, nous proposons une stratégie simple mais efficace d'échantillonnage et d'optimisation en domaine ouvert pour "tromper" le générateur afin qu'il traite les croquis faux comme s'ils étaient réels. Notre méthode tire parti de l'apprentissage du mappage croquis-à-photo et photo-à-croquis sur les données en domaine fermé et le généralise aux classes en domaine ouvert. Nous validons notre méthode sur les jeux de données Scribble et SketchyCOCO. Comparée aux méthodes concurrentes récentes, notre approche montre des résultats impressionnants dans la synthèse de couleurs réalistes, textures et maintien de la composition géométrique pour diverses catégories de croquis en domaine ouvert. Notre code est disponible à l'adresse suivante : https://github.com/Mukosame/AODA