Instances en tant que requêtes

Récemment, les cadres de détection d'objets basés sur les requêtes ont atteint une performance comparable à celle des détecteurs d'objets d'avant-garde. Toutefois, la manière dont ces cadres peuvent être pleinement exploités pour réaliser la segmentation d'instances reste un problème ouvert. Dans cet article, nous proposons QueryInst (Instances comme requêtes), une méthode de segmentation d'instances basée sur les requêtes, pilotée par une supervision parallèle sur des têtes de masque dynamiques. L'idée centrale de QueryInst repose sur l'exploitation de la correspondance intrinsèque un-à-un entre les requêtes d'objets à travers les différentes étapes, ainsi que de la correspondance un-à-un entre les caractéristiques mask RoI et les requêtes d'objets au sein de la même étape. Cette approche élimine les connexions explicites entre les têtes de masque multi-étapes et les problèmes d'incohérence dans la distribution des propositions propres aux méthodes multi-étapes non basées sur les requêtes. Nous menons des expériences approfondies sur trois benchmarks exigeants : COCO, CityScapes et YouTube-VIS, afin d'évaluer l'efficacité de QueryInst sur les tâches de segmentation d'instances et de segmentation d'instances vidéo (VIS). Plus précisément, en utilisant un squelette ResNet-101-FPN, QueryInst obtient 48,1 AP pour les boîtes et 42,8 AP pour les masques sur COCO test-dev, soit une amélioration de 2 points par rapport à HTC en termes à la fois d'AP pour les boîtes et d'AP pour les masques, tout en étant 2,4 fois plus rapide. Pour la segmentation d'instances vidéo, QueryInst atteint les meilleurs résultats parmi toutes les approches en ligne de VIS, tout en offrant un bon compromis entre vitesse et précision. Le code est disponible à l'adresse suivante : \url{https://github.com/hustvl/QueryInst}.