Les images aériennes rencontrent les trajectoires contribuées par les usagers : une nouvelle approche pour une extraction robuste des routes

L’analyse de la télédétection terrestre constitue une recherche cruciale en sciences de la Terre. Dans ce travail, nous nous concentrons sur une tâche particulièrement difficile d’analyse du territoire : l’extraction automatique des routes de transport à partir de données de télédétection, une opération aux applications larges dans l’évaluation et l’estimation de l’expansion urbaine. Toutefois, les méthodes conventionnelles ne tirent soit qu’un parti limité des informations contenues dans les images aériennes, soit fusionnent simplement des données multimodales (par exemple, les trajectoires de véhicules), ce qui empêche une reconnaissance efficace des routes dans des conditions non contraintes. Pour relever ce défi, nous proposons un nouveau cadre de réseau neuronal appelé Cross-Modal Message Propagation Network (CMMPNet), qui exploite pleinement les données complémentaires provenant de modalités différentes, à savoir les images aériennes et les trajectoires collectées auprès du public (crowdsourced trajectories). Plus précisément, CMMPNet est composé de deux auto-encodeurs profonds dédiés à l’apprentissage de représentations spécifiques à chaque modalité, ainsi qu’un module d’amélioration dual sur mesure conçu pour raffiner les représentations croisées entre modalités. En particulier, les informations complémentaires de chaque modalité sont extraites de manière exhaustive et propagées dynamiquement afin d’améliorer la représentation de l’autre modalité. Des expérimentations étendues sur trois benchmarks réels démontrent l’efficacité de notre CMMPNet pour une extraction robuste des routes, grâce à la combinaison intelligente de données multimodales, que ce soit des données d’images et de trajectoires, ou d’images et de données Lidar. Les résultats expérimentaux montrent clairement que la méthode proposée surpasser largement les approches actuelles de pointe. Le code source est disponible sur la page du projet : http://lingboliu.com/multimodal_road_extraction.html.