HyperAIHyperAI

Command Palette

Search for a command to run...

Modèles fondamentaux collaboratifs pour la segmentation sémantique généralisée par domaine

Yasser Benigmim Subhankar Roy Slim Essid Vicky Kalogeiton Stéphane Lathuilière

Résumé

La segmentation sémantique généralisée aux domaines (DGSS) consiste à entraîner un modèle sur un domaine source étiqueté afin qu’il puisse généraliser à des domaines non vus lors de l’inférence. Les méthodes actuelles de DGSS s’appuient généralement sur la randomisation de domaine (DR) pour extraire des caractéristiques robustes. Toutefois, cette approche présente des limites, car elle ne prend en compte que la diversité stylistique et non celle du contenu. Dans ce travail, nous proposons une approche orthogonale à la DGSS, en introduisant une architecture composée de modèles fondamentaux collaboratifs pour la segmentation sémantique généralisée aux domaines, appelée CLOUDS (CoLlaborative FOUndation models for Domain Generalized Semantic Segmentation). Plus précisément, CLOUDS est un cadre intégrant plusieurs types de modèles : (i) un modèle CLIP comme noyau pour une représentation robuste des caractéristiques, (ii) des modèles génératifs afin de diversifier le contenu, couvrant ainsi divers modes de la distribution cible possible, et (iii) le modèle Segment Anything Model (SAM) pour affiner itérativement les prédictions du modèle de segmentation. Des expériences étendues montrent que notre méthode CLOUDS excelle dans l’adaptation de données synthétiques vers des benchmarks réels de DGSS, ainsi qu’en conditions météorologiques variables, surpassant notablement les méthodes antérieures de 5,6 % et 6,7 % en moyenne sur l’indice miou, respectivement. Le code source est disponible à l’adresse suivante : https://github.com/yasserben/CLOUDS


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Modèles fondamentaux collaboratifs pour la segmentation sémantique généralisée par domaine | Articles | HyperAI