Segmentation d'instances faiblement supervisée par apprentissage indifférent à la classe avec images saillantes

Les humains possèdent une capacité forte de segmentation d'objets indépendante de la classe et peuvent délimiter précisément les contours d'objets inconnus, ce qui nous motive à proposer une solution de segmentation d'objets indépendante de la classe supervisée par des boîtes (BoxCaseg) pour la segmentation d'instances faiblement supervisée. Le modèle BoxCaseg est entraîné conjointement en utilisant des images supervisées par des boîtes et des images saillantes dans un cadre d'apprentissage multi-tâches. Les images saillantes finement annotées fournissent une orientation précise et indépendante de la classe pour la localisation des objets dans les images supervisées par des boîtes. Les masques d'objets prédits par un modèle BoxCaseg préentraîné sont affinés grâce à une stratégie innovante de fusion et de suppression, servant de vérité terrain proxy pour entraîner un Mask R-CNN pour la segmentation d'instances faiblement supervisée. En utilisant seulement 7991 images saillantes, le Mask R-CNN faiblement supervisé équivaut au Mask R-CNN entièrement supervisé sur PASCAL VOC et dépasse considérablement les méthodes précédentes de segmentation d'instances supervisées par des boîtes sur COCO. Le code source, les modèles préentraînés et les jeux de données sont disponibles à l'adresse \url{https://github.com/hustvl/BoxCaseg}.