Segmentation d'objets interactive avec une guidance intérieure-extérieure

Ce papier explore la manière de récupérer des masques de segmentation d’objets précis tout en minimisant le coût d’interaction humaine. Pour atteindre cet objectif, nous proposons dans ce travail une méthode appelée Guidance Intérieure-Extérieure (IOG, Inside-Outside Guidance). Plus précisément, nous utilisons un point à l’intérieur de l’objet, cliqué près de son centre, ainsi que deux points à l’extérieur situés aux coins symétriques (haut-gauche et bas-droit, ou haut-droit et bas-gauche) d’un rectangle englobant serré entourant l’objet cible. Cela conduit à un total de un clic sur le premier plan et quatre clics sur le fond pour la segmentation. Les avantages de notre approche IOG sont multiples : 1) les deux points extérieurs aident à éliminer les distractions provenant d’autres objets ou du fond ; 2) le point intérieur permet d’éliminer les régions non pertinentes situées à l’intérieur du cadre englobant ; 3) les points intérieurs et extérieurs sont faciles à identifier, ce qui réduit les ambiguïtés rencontrées par la méthode d’état de l’art DEXTR sur certains exemples extrêmes ; 4) notre méthode supporte naturellement l’ajout de clics supplémentaires pour une correction ultérieure. Malgré sa simplicité, notre approche IOG atteint des performances de pointe sur plusieurs benchmarks populaires, tout en démontrant une forte capacité de généralisation à travers différents domaines tels que les scènes urbaines, les images aériennes et les images médicales, sans nécessiter de fine-tuning. En outre, nous proposons également une solution en deux étapes simple, permettant à notre IOG de produire des masques de segmentation d’instances de haute qualité à partir de jeux de données existants munis de cadres englobants standards, comme ImageNet ou Open Images, illustrant ainsi l’efficacité de notre IOG en tant qu’outil d’annotation.