Adaptation d'un modèle de curriculum avec des données synthétiques et réelles pour la compréhension sémantique des scènes brumeuses

Ce travail aborde le problème de la compréhension sémantique des scènes dans les conditions brumeuses. Bien que des progrès notables aient été réalisés en matière de compréhension sémantique des scènes, ces avancées se concentrent principalement sur les scènes en temps clair. L'extension des méthodes de segmentation sémantique aux conditions météorologiques défavorables, telles que la brume, est cruciale pour les applications en extérieur. Dans cet article, nous proposons une nouvelle méthode nommée Adaptation progressives du modèle (CMAda), qui adapte progressivement un modèle de segmentation sémantique du brouillard synthétique léger au brouillard réel dense en plusieurs étapes, en utilisant à la fois des données synthétiques étiquetées et des données réelles non étiquetées. Cette méthode repose sur le fait que les résultats de la segmentation sémantique dans des conditions modérément défavorables (brouillard léger) peuvent être utilisés pour résoudre le même problème dans des conditions très défavorables (brouillard dense). CMAda peut être étendu à d'autres conditions défavorables et offre un nouveau paradigme pour l'apprentissage avec des données synthétiques et des données réelles non étiquetées. De plus, nous présentons trois autres contributions principales indépendantes : 1) une nouvelle méthode pour ajouter du brouillard synthétique à des scènes réelles en temps clair à partir d'une entrée sémantique ; 2) un nouvel estimateur de densité de brouillard ; 3) une nouvelle méthode de densification du brouillard pour augmenter la densité du brouillard dans des scènes réelles brumeuses sans utiliser la profondeur ; et 4) le jeu de données Foggy Zurich comprenant 3808 images réelles brumeuses, avec annotations sémantiques au niveau pixel pour 40 images sous un brouillard dense. Nos expériences montrent que : 1) notre simulation de brouillard et notre estimateur de densité de brouillard surpassent leurs homologues les plus performants en termes de compréhension sémantique des scènes brumeuses (SFSU) ; 2) CMAda améliore considérablement les performances des modèles les plus performants pour SFSU, bénéficiant tant de nos données synthétiques que de nos données réelles brumeuses. Les jeux de données et le code sont disponibles sur le site web du projet.