À la fois le style et la brume comptent : adaptation de domaine cumulative pour la compréhension sémantique des scènes brumeuses

Bien que des progrès considérables aient été réalisés dans la compréhension sémantique des scènes en conditions météorologiques claires, ce problème reste particulièrement difficile en conditions défavorables, telles que la brume dense, en raison de l’incertitude engendrée par des observations imparfaites. Par ailleurs, les difficultés liées à la collecte et à l’étiquetage d’images brumeuses freinent le progrès de ce domaine. Étant donné les succès obtenus dans la compréhension sémantique des scènes en conditions claires, il est raisonnable de transférer les connaissances acquises à partir d’images claires vers le domaine brumeux. Le problème se réduit alors à combler l’écart entre les domaines des images claires et des images brumeuses. Contrairement aux méthodes antérieures, qui se concentrent principalement sur la réduction de l’écart causé par la brume — en débrumant les images brumeuses ou en ajoutant de la brume aux images claires —, nous proposons d’atténuer cet écart en tenant compte simultanément de l’influence de la brume et des variations stylistiques. Cette approche s’appuie sur notre constat selon lequel l’écart lié au style et l’écart lié à la brume peuvent être séparés et réduits indépendamment en introduisant un domaine intermédiaire. Ainsi, nous proposons une nouvelle chaîne de traitement permettant une adaptation cumulative du style, de la brume et des deux facteurs conjoints (style et brume). Plus précisément, nous concevons un cadre unifié permettant de désentrelacer séparément les facteurs de style et de brume, puis le facteur conjoint à partir d’images provenant de domaines différents. En outre, nous intégrons la désentrelacement de ces trois facteurs à l’aide d’une nouvelle fonction de perte cumulative, afin d’assurer une désentrelacement approfondi de ces trois composantes. Notre méthode atteint des performances de pointe sur trois benchmarks et démontre une capacité de généralisation efficace dans des scènes pluvieuses et neigeuses.