DifFSS : Modèle de diffusion pour la segmentation sémantique à faible exemple

Les modèles de diffusion ont démontré des performances remarquables dans la génération d’images. Bien que divers modèles de segmentation sémantique à peu de exemples (FSS, Few-Shot Segmentation) avec des architectures réseau variées aient été proposés, l’amélioration des performances a atteint un plafond. Ce papier présente la première étude exploitant le modèle de diffusion pour la tâche de FSS, appelée DifFSS. DifFSS, un nouveau paradigme de FSS, permet d’améliorer significativement les performances des modèles d’état de l’art de FSS sans modifier leur architecture réseau. Plus précisément, nous exploitons la puissante capacité de génération des modèles de diffusion pour produire des images d’appui auxiliaires diversifiées, en utilisant comme conditions de contrôle le masque sémantique, le trait ou la frontière douce HED de l’image d’appui. Ce processus de génération simule la variabilité au sein de la classe de l’image interrogée, telle que les variations de couleur, de texture ou d’éclairage, etc. En conséquence, les modèles de FSS peuvent s’appuyer sur un ensemble plus diversifié d’images d’appui, ce qui conduit à des représentations plus robustes et, par voie de conséquence, à une amélioration constante de la performance de segmentation. Des expériences étendues sur trois jeux de données publics, basées sur des modèles avancés de FSS existants, démontrent l’efficacité du modèle de diffusion pour la tâche de FSS. En outre, nous analysons en détail l’impact de différentes configurations d’entrée du modèle de diffusion sur la performance de segmentation. Espérons que ce paradigme entièrement nouveau inspirera de nouvelles recherches sur la fusion de contenus générés par l’intelligence artificielle dans la tâche de FSS. Le code est disponible à l’adresse suivante : https://github.com/TrinitialChan/DifFSS