CoDA : Adaptation en chaîne instructive par domaines avec ajustement des prompts visuels conscient de la gravité

L’adaptation de domaine non supervisée (UDA) vise à adapter des modèles à partir de domaines sources étiquetés vers des domaines cibles non étiquetés. Lors de l’adaptation à des scènes défavorables, les méthodes UDA existantes peinent à bien performer en raison du manque d’instructions, entraînant ainsi les modèles à ignorer les différences présentes dans l’ensemble des scènes défavorables. Pour remédier à ce problème, nous proposons CoDA, une méthode qui instruit les modèles à distinguer, se concentrer et apprendre à partir de ces différences à la fois au niveau du scénario et au niveau de l’image. Plus précisément, CoDA repose sur une stratégie de chaîne de domaine (CoD) et un mécanisme d’ajustement de prompts visuels sensibles à la sévérité (SAVPT). La stratégie CoD fournit des instructions au niveau du scénario afin de diviser l’ensemble des scènes défavorables en scènes faciles et scènes difficiles. Elle guide le modèle à s’adapter d’abord des domaines sources vers les domaines faciles en utilisant des images de scènes faciles, puis vers les domaines difficiles en utilisant des images de scènes difficiles, établissant ainsi une base solide pour l’adaptation globale. En s’appuyant sur cette base, nous introduisons SAVPT pour approfondir l’instruction au niveau de l’image, afin d’améliorer les performances. SAVPT présente une nouvelle métrique, la sévérité, qui classe toutes les images de scènes défavorables en images à faible sévérité et images à haute sévérité. Cette métrique de sévérité guide alors les prompts visuels et les adaptateurs, incitant le modèle à se concentrer sur des caractéristiques de sévérité unifiées plutôt que sur des caractéristiques spécifiques au scénario, sans pour autant augmenter la complexité de l’architecture du modèle. CoDA atteint des performances SOTA sur des benchmarks largement utilisés dans toutes les conditions de scènes défavorables. Notamment, CoDA dépasse les méthodes existantes de 4,6 % et de 10,3 % en mIoU sur les benchmarks Foggy Driving et Foggy Zurich, respectivement. Notre code est disponible à l’adresse suivante : https://github.com/Cuzyoung/CoDA