Activation d'instances parcimonieuse pour la segmentation d'instances en temps réel

Dans cet article, nous proposons un cadre conceptuellement novateur, efficace et entièrement convolutif pour la segmentation d'instances en temps réel. Jusqu'à présent, la plupart des méthodes de segmentation d'instances dépendaient fortement de la détection d'objets et effectuaient des prédictions de masques basées sur des boîtes englobantes ou des centres denses. En revanche, nous suggérons un ensemble éparse de cartes d'activation d'instances, comme une nouvelle représentation d'objet, pour mettre en évidence les régions informatives de chaque objet au premier plan. Les caractéristiques au niveau de l'instance sont ensuite obtenues en agrégant les caractéristiques selon les régions mises en évidence pour la reconnaissance et la segmentation. De plus, grâce à l'appariement biparti, les cartes d'activation d'instances peuvent prédire les objets dans un style un-à-un, évitant ainsi la suppression non maximale (NMS) lors du post-traitement. Grâce à ces conceptions simples mais efficaces avec des cartes d'activation d'instances, SparseInst possède une vitesse d'inférence extrêmement rapide et atteint 40 images par seconde (FPS) et une précision moyenne (AP) de 37,9 sur le benchmark COCO, ce qui dépasse considérablement ses homologues en termes de vitesse et de précision. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/hustvl/SparseInst.