DETR avec formation par affectations hybrides collaboratives

Dans cet article, nous observons que l'attribution de trop peu de requêtes comme échantillons positifs dans DETR avec une correspondance un-à-un entre les ensembles entraîne une supervision clairsemée sur la sortie de l'encodeur, ce qui nuit considérablement à l'apprentissage des caractéristiques discriminantes de l'encodeur et, inversement, à l'apprentissage de l'attention dans le décodeur. Pour atténuer ce problème, nous présentons un nouveau schéma d'entraînement par attribution hybride collaborative, appelé $\mathcal{C}$o-DETR, permettant d'apprendre des détecteurs basés sur DETR plus efficaces et performants grâce à diverses méthodes d'attribution d'étiquettes. Ce nouveau schéma d'entraînement peut facilement améliorer la capacité d'apprentissage de l'encodeur dans les détecteurs bout-en-bout en formant plusieurs têtes auxiliaires parallèles supervisées par des attributions d'étiquettes un-à-plusieurs, telles que ATSS et Faster RCNN. De plus, nous générons des requêtes positives supplémentaires en extrayant les coordonnées positives de ces têtes auxiliaires pour améliorer l'efficacité de l'entraînement des échantillons positifs dans le décodeur. Lors de la phase d'inférence, ces têtes auxiliaires sont abandonnées et notre méthode n'introduit donc aucun paramètre ou coût computationnel supplémentaire au détecteur original tout en ne nécessitant aucune suppression non maximale (NMS) manuelle. Nous menons de nombreuses expériences pour évaluer l'efficacité de notre approche proposée sur différentes variantes de DETR, notamment DAB-DETR, Deformable-DETR et DINO-Deformable-DETR. Le modèle DINO-Deformable-DETR d'avant-garde avec Swin-L peut être amélioré de 58,5% à 59,5% AP sur COCO val. Surprenamment, lorsqu'il est associé au backbone ViT-L, nous obtenons 66,0% AP sur COCO test-dev et 67,9% AP sur LVIS val, surpassant largement les méthodes précédentes avec des tailles de modèles bien moindres. Les codes sources sont disponibles à \url{https://github.com/Sense-X/Co-DETR}.