Synthèse d'images multi-vues à l'aide de GANs conditionnelles guidées par la géométrie

Nous abordons le problème de la génération d'images entre deux points de vue radicalement différents, à savoir les vues au sol (de rue) et les vues aériennes (de dessus). La synthèse d'images est en elle-même une tâche très complexe en vision par ordinateur, et elle l'est encore plus lorsque la génération est conditionnée par une image dans une autre vue. En raison de la différence des points de vue, il y a un champ de vision commun restreint et peu de contenu partagé entre ces deux vues. Ici, nous cherchons à préserver l'information pixelique entre les vues afin que l'image générée soit une représentation réaliste de l'image d'entrée en vue croisée. Pour ce faire, nous proposons d'utiliser une homographie comme guide pour cartographier les images entre les vues sur la base du champ de vision commun, afin de préserver les détails de l'image d'entrée. Nous utilisons ensuite des réseaux adverses génératifs pour compléter les régions manquantes dans l'image transformée et ajouter du réalisme. Notre évaluation exhaustive et notre comparaison des modèles montrent que l'utilisation de contraintes géométriques ajoute des détails fins aux images générées et peut constituer une meilleure approche pour la synthèse d'images en vue croisée que les méthodes purement basées sur les pixels.