MST : Segmentations interactives guidées par des tokens multi-échelles adaptatifs

La segmentation interactive a suscité un intérêt croissant en raison de ses applications dans l’interaction homme-machine et l’étiquetage de données. Pour relever le défi de la variation d’échelle cible dans la segmentation interactive, nous proposons un nouvel algorithme d’adaptation de jetons multi-échelle. En effectuant des opérations top-k sur les jetons multi-échelle, la complexité computationnelle est considérablement réduite tout en maintenant des performances élevées. Pour renforcer la robustesse du choix des jetons multi-échelle, nous introduisons également un algorithme d’apprentissage de jetons basé sur une perte contrastive. Cet algorithme améliore efficacement les performances de l’adaptation de jetons multi-échelle. Des évaluations étendues sur des benchmarks montrent que notre méthode atteint un état de l’art (SOTA) par rapport aux approches actuelles. Une démonstration interactive et tous les codes reproductibles seront publiés sur https://github.com/hahamyt/mst.