Sat2Density : Apprentissage fidèle de la densité à partir de paires d'images satellites-terrestres

Ce travail vise à développer une représentation géométrique 3D précise des images satellites en utilisant des paires d'images satellite-terre. Notre attention se concentre sur le problème difficile de la synthèse de vues terrestres 3D-aware à partir d'une image satellite. Nous nous inspirons de la représentation par champ de densité utilisée dans le rendu neuronal volumétrique et proposons une nouvelle approche appelée Sat2Density. Notre méthode utilise les propriétés des panoramas terrestres pour les régions du ciel et hors ciel afin d'apprendre des champs de densité fidèles des scènes 3D sous un angle géométrique. Contrairement à d'autres méthodes qui nécessitent des informations de profondeur supplémentaires pendant l'entraînement, notre Sat2Density peut apprendre automatiquement une géométrie 3D précise et fidèle via la représentation de densité, sans supervision de profondeur. Cette avancée améliore considérablement la tâche de synthèse de panoramas terrestres. De plus, notre étude offre une nouvelle perspective géométrique pour comprendre la relation entre les images satellites et terrestres dans l'espace 3D.