Mask-aware IoU für die Anchor-Zuordnung in Echtzeit-Instanzsegmentierung

Dieses Papier stellt Mask-aware Intersection-over-Union (maIoU) vor, eine Methode zur Zuordnung von Anchor Boxes als Positiven und Negativen während des Trainings von Instanzsegmentierungsmethoden. Im Gegensatz zu herkömmlichen IoU-Varianten, die nur die Nähe zweier Boxen berücksichtigen, misst maIoU konsistent die Nähe einer Anchor Box nicht nur zu einer Ground-Truth-Box, sondern auch zu deren zugehörigem Ground-Truth-Mask. Durch die zusätzliche Berücksichtigung der Maske, die in Wirklichkeit die Form des Objekts darstellt, ermöglicht maIoU eine präzisere Supervision während des Trainings. Wir demonstrieren die Effektivität von maIoU anhand eines state-of-the-art (SOTA)-Assigners, nämlich ATSS, indem wir den IoU-Vorgang durch unser maIoU ersetzen und YOLACT, eine SOTA-Echtzeit-Instanzsegmentierungsmethode, trainieren. Die Verwendung von ATSS mit maIoU übertrifft (i) ATSS mit IoU um ca. 1 Mask AP, (ii) das Baseline-YOLACT mit einem festen IoU-Schwellenwert-Assigner um ca. 2 Mask AP bei verschiedenen Bildgrößen und (iii) verringert aufgrund der Verwendung weniger Anchor Boxes die Inferenzzeit um 25 %. Ausnutzend diese Effizienz entwickeln wir maYOLACT, einen schnelleren und um +6 AP genauer Detektor als YOLACT. Unser bestes Modell erreicht 37,7 Mask AP bei 25 fps auf COCO test-dev und etabliert damit einen neuen Stand der Technik für Echtzeit-Instanzsegmentierung. Der Quellcode ist unter https://github.com/kemaloksuz/Mask-aware-IoU verfügbar.