HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptation de modèle contrastif pour une robustesse cross-condition en segmentation sémantique

David Bruggemann Christos Sakaridis Tim Brödermann Luc Van Gool

Résumé

Les méthodes classiques d’adaptation de domaine non supervisée adaptent un modèle d’un domaine source vers un domaine cible en utilisant conjointement des données étiquetées du domaine source et des données non étiquetées du domaine cible. En revanche, dans l’adaptation de modèle, l’accès aux données étiquetées du domaine source est interdit : seuls le modèle entraîné sur le domaine source et des données non étiquetées du domaine cible sont disponibles. Nous étudions l’adaptation de modèle de conditions normales à des conditions défavorables pour la segmentation sémantique, dans un cadre où des correspondances au niveau des images sont disponibles dans le domaine cible. L’ensemble cible est composé de paires non étiquetées d’images de rues prises dans des conditions normales et défavorables à des emplacements géolocalisés identiques. Notre méthode, appelée CMA, exploite ces paires d’images pour apprendre des caractéristiques invariantes par rapport à la condition via une approche d’apprentissage contrastif. Plus précisément, CMA encourage les caractéristiques dans l’espace d’encodage à être regroupées selon leur contenu sémantique invariant par rapport à la condition, et non selon la condition sous laquelle les entrées ont été capturées. Pour obtenir des correspondances sémantiques précises entre domaines, nous déformons l’image normale afin de lui donner le point de vue de l’image défavorable, et utilisons des scores de confiance de déformation pour construire des caractéristiques robustes et agrégées. Grâce à cette approche, nous atteignons des performances de segmentation sémantique de pointe pour l’adaptation de modèle sur plusieurs benchmarks d’adaptation de conditions normales à défavorables, tels que ACDC et Dark Zurich. Nous évaluons également CMA sur un nouveau benchmark d’adaptation généralisée aux conditions défavorables, et rapportons des résultats favorables par rapport aux méthodes classiques d’adaptation de domaine non supervisée, malgré l’inconvénient comparatif de CMA dû à l’impossibilité d’accéder aux données source. Le code est disponible à l’adresse suivante : https://github.com/brdav/cma.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Adaptation de modèle contrastif pour une robustesse cross-condition en segmentation sémantique | Articles | HyperAI