Mask-aware IoU pour l'attribution d'ancres dans la segmentation d'instances en temps réel

Ce document présente le Mask-aware Intersection-over-Union (maIoU), une méthode pour attribuer des boîtes d'ancrage comme positives ou négatives lors de l'entraînement des méthodes de segmentation d'instances. Contrairement à l'IoU conventionnel ou ses variantes, qui ne prennent en compte que la proximité de deux boîtes, le maIoU mesure de manière cohérente la proximité d'une boîte d'ancrage non seulement avec une boîte de vérité terrain mais aussi avec son masque de vérité terrain associé. Ainsi, en tenant également compte du masque, qui représente en fait la forme de l'objet, le maIoU permet une supervision plus précise pendant l'entraînement. Nous démontrons l'efficacité du maIoU sur un assigneur d'état de l'art (SOTA), ATSS, en remplaçant l'opération IoU par notre maIoU et en entraînant YOLACT, une méthode SOTA de segmentation d'instances en temps réel. L'utilisation d'ATSS avec maIoU surpasse constamment : (i) ATSS avec IoU d'environ 1 point de masque AP, (ii) YOLACT basique avec un assigneur à seuil IoU fixe d'environ 2 points de masque AP pour différentes tailles d'image et (iii) réduit le temps d'inférence de 25 % grâce à l'utilisation de moins d'ancre. En exploitant cette efficacité, nous avons conçu maYOLACT, un détecteur plus rapide et +6 points AP plus précis que YOLACT. Notre meilleur modèle atteint 37,7 points de masque AP à 25 images par seconde sur COCO test-dev, établissant ainsi un nouveau standard pour la segmentation d'instances en temps réel. Le code est disponible à l'adresse suivante : https://github.com/kemaloksuz/Mask-aware-IoU