Box2Mask : Segmentation d'instances supervisée par des boîtes via l'évolution de level-set

Contrairement aux méthodes entièrement supervisées utilisant des étiquettes de masque au niveau des pixels, la segmentation d'instances supervisée par des boîtes tire parti d'annotations de boîtes simples, ce qui a récemment attiré une attention croissante dans la recherche. Cet article présente une nouvelle approche de segmentation d'instances en un seul passage, appelée Box2Mask, qui intègre le modèle classique d'évolution du niveau de contour (level-set) dans l'apprentissage par réseau neuronal profond pour réaliser des prédictions de masque précises avec seulement une supervision par des boîtes englobantes. Plus précisément, à la fois l'image d'entrée et ses caractéristiques profondes sont utilisées pour évoluer implicitement les courbes de niveau de contour, et un module de cohérence locale basé sur un noyau d'affinité pixel est utilisé pour extraire le contexte local et les relations spatiales. Deux types de cadres mono-stade, à savoir des cadres basés sur CNN et des cadres basés sur transformer, ont été développés pour renforcer l'évolution du niveau de contour pour la segmentation d'instances supervisée par des boîtes, chaque cadre comprenant trois composants essentiels : un décodeur sensible aux instances, une attribution de correspondance au niveau des boîtes et une évolution du niveau de contour. En minimisant la fonction d'énergie du niveau de contour, la carte de masque de chaque instance peut être optimisée itérativement au sein de son annotation par boîte englobante. Les résultats expérimentaux sur cinq bancs d'essai difficiles, couvrant des scènes générales, la télédétection, les images médicales et les images textuelles en scène, démontrent les performances exceptionnelles de notre approche Box2Mask pour la segmentation d'instances supervisée par des boîtes. En particulier, avec le grand backbone Swin-Transformer, notre Box2Mask obtient un AP (Average Precision) de masque de 42.4% sur COCO (Common Objects in Context), ce qui est comparable aux méthodes entièrement supervisées par des masques récemment développées. Le code est disponible à l'adresse suivante : https://github.com/LiWentomng/boxlevelset.