ISDA : Segmentations d'instances sensible à la position avec une attention déformable

La plupart des modèles de segmentation d'instances ne sont pas entraînables de bout en bout en raison de l'intégration d'une estimation de propositions (RPN) en prétraitement ou de la suppression non maximale (NMS) en post-traitement. Dans cet article, nous proposons une nouvelle méthode de segmentation d'instances end-to-end appelée ISDA. Elle reformule la tâche en prédiction d'un ensemble de masques d'objets, générés à l'aide d'opérations de convolution traditionnelles basées sur des noyaux adaptatifs aux positions appris et des caractéristiques d'objets. Ces noyaux et ces caractéristiques sont appris grâce à un réseau d'attention déformable offrant une représentation multi-échelle. Grâce au mécanisme de prédiction d'ensemble introduit, la méthode proposée est exemptée de NMS. Expérimentalement, ISDA dépasse Mask R-CNN (le modèle de référence performant) de 2,6 points sur MS-COCO, et atteint des performances supérieures par rapport aux modèles récents. Le code sera bientôt disponible.