Adaptation de détecteurs de véhicules pour des images aériennes à des domaines inédits avec une supervision faible

La détection des véhicules dans les images aériennes constitue une tâche cruciale, aux applications nombreuses en matière de surveillance du trafic, d’aménagement urbain et d’intelligence défensive. Les méthodes d’apprentissage profond ont permis d’atteindre des résultats de pointe (state-of-the-art, SOTA) dans ce domaine. Toutefois, un défi majeur survient lorsque les modèles entraînés sur des données provenant d’une région géographique donnée peinent à s’adapter efficacement à d’autres zones. La variabilité des facteurs tels que les conditions environnementales, les schémas urbains, les réseaux routiers, les types de véhicules ou encore les paramètres d’acquisition d’images (par exemple résolution, éclairage, angle de prise de vue) engendre des décalages de domaine qui dégradent significativement les performances des modèles. Ce papier propose une nouvelle méthode fondée sur l’intelligence artificielle générative, permettant de synthétiser des images aériennes de haute qualité ainsi que leurs étiquettes, afin d’améliorer l’entraînement des détecteurs grâce à une augmentation de données. Notre contribution principale réside dans le développement d’un cadre de transfert de connaissances multi-étapes et multi-modales, basé sur des modèles de diffusion latente (latent diffusion models, LDM) fine-tunés, visant à réduire l’écart de distribution entre les environnements source et cible. Des expérimentations étendues sur diverses bases d’images aériennes montrent des améliorations constantes de la précision (AP50) par rapport à l’apprentissage supervisé sur les données de la source, aux méthodes d’adaptation faiblement supervisée, aux méthodes d’adaptation non supervisée de domaine et aux détecteurs d’objets en situation ouverte, avec des gains respectifs de 4 à 23 %, 6 à 10 %, 7 à 40 % et plus de 50 %. En outre, nous introduisons deux nouveaux jeux de données aériennes annotées provenant de la Nouvelle-Zélande et de l’Utah, afin de soutenir des recherches ultérieures dans ce domaine. La page du projet est disponible à l’adresse suivante : https://humansensinglab.github.io/AGenDA