HyperAIHyperAI

Command Palette

Search for a command to run...

DifFSS : Modèle de diffusion pour la segmentation sémantique à faible exemple

Weimin Tan Siyuan Chen Bo Yan

Résumé

Les modèles de diffusion ont démontré des performances remarquables dans la génération d’images. Bien que divers modèles de segmentation sémantique à peu de exemples (FSS, Few-Shot Segmentation) avec des architectures réseau variées aient été proposés, l’amélioration des performances a atteint un plafond. Ce papier présente la première étude exploitant le modèle de diffusion pour la tâche de FSS, appelée DifFSS. DifFSS, un nouveau paradigme de FSS, permet d’améliorer significativement les performances des modèles d’état de l’art de FSS sans modifier leur architecture réseau. Plus précisément, nous exploitons la puissante capacité de génération des modèles de diffusion pour produire des images d’appui auxiliaires diversifiées, en utilisant comme conditions de contrôle le masque sémantique, le trait ou la frontière douce HED de l’image d’appui. Ce processus de génération simule la variabilité au sein de la classe de l’image interrogée, telle que les variations de couleur, de texture ou d’éclairage, etc. En conséquence, les modèles de FSS peuvent s’appuyer sur un ensemble plus diversifié d’images d’appui, ce qui conduit à des représentations plus robustes et, par voie de conséquence, à une amélioration constante de la performance de segmentation. Des expériences étendues sur trois jeux de données publics, basées sur des modèles avancés de FSS existants, démontrent l’efficacité du modèle de diffusion pour la tâche de FSS. En outre, nous analysons en détail l’impact de différentes configurations d’entrée du modèle de diffusion sur la performance de segmentation. Espérons que ce paradigme entièrement nouveau inspirera de nouvelles recherches sur la fusion de contenus générés par l’intelligence artificielle dans la tâche de FSS. Le code est disponible à l’adresse suivante : https://github.com/TrinitialChan/DifFSS


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp