HyperAIHyperAI

Command Palette

Search for a command to run...

CoDA : Adaptation en chaîne instructive par domaines avec ajustement des prompts visuels conscient de la gravité

Ziyang Gong Fuhao Li Yupeng Deng Deblina Bhattacharjee Xianzheng Ma Xiangwei Zhu Zhenming Ji

Résumé

L’adaptation de domaine non supervisée (UDA) vise à adapter des modèles à partir de domaines sources étiquetés vers des domaines cibles non étiquetés. Lors de l’adaptation à des scènes défavorables, les méthodes UDA existantes peinent à bien performer en raison du manque d’instructions, entraînant ainsi les modèles à ignorer les différences présentes dans l’ensemble des scènes défavorables. Pour remédier à ce problème, nous proposons CoDA, une méthode qui instruit les modèles à distinguer, se concentrer et apprendre à partir de ces différences à la fois au niveau du scénario et au niveau de l’image. Plus précisément, CoDA repose sur une stratégie de chaîne de domaine (CoD) et un mécanisme d’ajustement de prompts visuels sensibles à la sévérité (SAVPT). La stratégie CoD fournit des instructions au niveau du scénario afin de diviser l’ensemble des scènes défavorables en scènes faciles et scènes difficiles. Elle guide le modèle à s’adapter d’abord des domaines sources vers les domaines faciles en utilisant des images de scènes faciles, puis vers les domaines difficiles en utilisant des images de scènes difficiles, établissant ainsi une base solide pour l’adaptation globale. En s’appuyant sur cette base, nous introduisons SAVPT pour approfondir l’instruction au niveau de l’image, afin d’améliorer les performances. SAVPT présente une nouvelle métrique, la sévérité, qui classe toutes les images de scènes défavorables en images à faible sévérité et images à haute sévérité. Cette métrique de sévérité guide alors les prompts visuels et les adaptateurs, incitant le modèle à se concentrer sur des caractéristiques de sévérité unifiées plutôt que sur des caractéristiques spécifiques au scénario, sans pour autant augmenter la complexité de l’architecture du modèle. CoDA atteint des performances SOTA sur des benchmarks largement utilisés dans toutes les conditions de scènes défavorables. Notamment, CoDA dépasse les méthodes existantes de 4,6 % et de 10,3 % en mIoU sur les benchmarks Foggy Driving et Foggy Zurich, respectivement. Notre code est disponible à l’adresse suivante : https://github.com/Cuzyoung/CoDA


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp