Semi-DETR : Détection d'objets semi-supervisée avec des Transformers de détection

Nous analysons le cadre basé sur DETR pour la détection d'objets semi-supervisée (SSOD) et observons que : (1) la stratégie d’attribution un à un produit des correspondances incorrectes lorsque la boîte englobante de pseudo-vérité terrain est inexacte, entraînant une inefficacité d’apprentissage ; (2) les détecteurs basés sur DETR ne disposent pas d’une correspondance déterministe entre les requêtes d’entrée et leurs sorties prédites, ce qui limite l’application de la régularisation fondée sur la cohérence, largement utilisée dans les méthodes actuelles de SSOD. Nous proposons Semi-DETR, le premier détecteur semi-supervisé end-to-end basé sur les transformateurs, pour résoudre ces problèmes. Plus précisément, nous introduisons une stratégie d’attribution hybride par étapes qui combine les stratégies d’attribution un à plusieurs et un à un afin d’améliorer l’efficacité d’apprentissage de la première étape, fournissant ainsi des étiquettes de pseudo-objets de haute qualité pour l’entraînement de la deuxième étape. En outre, nous proposons une méthode de cohérence des requêtes croisées (Crossview Query Consistency) pour apprendre l’invariance des caractéristiques sémantiques des requêtes d’objets issues de différentes vues, tout en évitant la nécessité de trouver une correspondance déterministe entre les requêtes. Enfin, nous introduisons un module d’extraction de pseudo-étiquettes basé sur le coût, permettant d’extraire dynamiquement un plus grand nombre de boîtes pseudo-étiquettes en fonction du coût d’attribution des boîtes de pseudo-vérité terrain, pour l’entraînement par cohérence. Des expériences étendues sur toutes les configurations de SSOD des jeux de données benchmarks COCO et Pascal VOC montrent que notre méthode Semi-DETR dépasse clairement toutes les méthodes de l’état de l’art. Le code en version PaddlePaddle est disponible à l’adresse suivante : https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/semi_det/semi_detr.