Détection non supervisée d'objets saillants par vote de clustering spectral

Dans cet article, nous abordons la tâche ardue de la détection d'objets saillants non supervisée (SOD) en exploitant le clustering spectral sur des caractéristiques auto-supervisées. Nous apportons les contributions suivantes : (i) Nous reprenons l'étude du clustering spectral et démontrons son potentiel pour regrouper les pixels des objets saillants ; (ii) Étant donné des propositions de masques issues de multiples applications du clustering spectral sur des caractéristiques d'image calculées à partir de divers modèles auto-supervisés, par exemple MoCov2, SwAV, DINO, nous proposons un mécanisme de vote simple mais efficace basé sur le principe « le gagnant prend tout » pour sélectionner les masques saillants, en utilisant des a priori d'objets fondés sur le cadrage et la distinctivité ; (iii) En utilisant les segments d'objets sélectionnés comme masques pseudo-étiquetés, nous entraînons un détecteur d'objets saillants, nommé SelfMask, qui surpassent les approches précédentes sur trois benchmarks de SOD non supervisée. Le code est disponible publiquement sur https://github.com/NoelShin/selfmask.