SimpleClick : Segmentations d’images interactives avec des Transformers de vision simples

La segmentation d’images interactive basée sur les clics vise à extraire des objets à partir d’un nombre limité d’interactions utilisateur. Actuellement, l’architecture hiérarchique constitue l’architecture de référence pour les méthodes existantes. Récemment, le Vision Transformer (ViT) simple, non hiérarchique, est apparu comme un candidat concurrent pour les tâches de prédiction dense. Ce design permet au ViT original de devenir un modèle fondamental pouvant être fine-tuné pour des tâches spécifiques sans nécessiter la reconception d’un réseau hiérarchique lors de l’entraînement préalable. Bien que ce cadre soit simple et démontré efficace, il n’a pas encore été exploité dans le domaine de la segmentation d’images interactive. Pour combler cette lacune, nous proposons SimpleClick, la première méthode de segmentation interactive qui exploite un réseau de base simple. À partir de ce réseau de base non hiérarchique, nous introduisons une couche d’encodage de patchs symétrique, qui intègre les clics dans le modèle avec des modifications mineures du réseau lui-même. Grâce à un préentraînement du réseau de base en tant qu’autoencodeur masqué (MAE), SimpleClick atteint des performances de pointe. De manière remarquable, notre méthode obtient un score de 4,15 NoC@90 sur le jeu de données SBD, soit une amélioration de 21,8 % par rapport au résultat précédent. Des évaluations étendues sur des images médicales démontrent la généralisation de notre approche. Nous avons également développé un réseau ViT extrêmement léger pour SimpleClick, et fourni une analyse détaillée de la complexité computationnelle, soulignant ainsi son adéquation en tant qu’outil pratique d’annotation.