Détection d'objets en few-shot cross-domain via un détecteur d'objets ouvert amélioré

Ce travail étudie le défi de la détection d'objets à quelques exemples en domaine croisé (CD-FSOD), visant à développer un détecteur d'objets précis pour de nouveaux domaines avec un nombre minimal d'exemples étiquetés. Bien que les détecteurs ouverts basés sur des transformateurs, tels que DE-ViT, montrent un potentiel dans la détection d'objets à quelques exemples traditionnelle, leur généralisation au CD-FSOD reste incertaine : 1) ces méthodes de détection ouverte peuvent-elles se généraliser facilement au CD-FSOD ? 2) Si ce n'est pas le cas, comment les modèles peuvent-ils être améliorés face à des écarts de domaine importants ?Pour répondre à la première question, nous utilisons des mesures telles que le style, la variance inter-classe (ICV) et les frontières indéfinissables (IB) afin de comprendre l'écart de domaine. Sur la base de ces mesures, nous établissons un nouveau benchmark nommé CD-FSOD pour évaluer les méthodes de détection d'objets, révélant que la plupart des approches actuelles échouent à se généraliser entre les domaines. Sur le plan technique, nous constatons que le déclin des performances est lié aux mesures proposées : style, ICV et IB. Par conséquent, nous proposons plusieurs modules innovants pour résoudre ces problèmes.Premièrement, les caractéristiques d'instance apprises alignent les instances initiales fixes avec les catégories cibles, améliorant ainsi la distinctivité des caractéristiques. Deuxièmement, le module de réaffectation pondérée des instances attribue une plus grande importance aux instances de haute qualité présentant une légère IB. Troisièmement, le générateur de domaines encourage la robustesse des caractéristiques face à différents styles en synthétisant des domaines imaginaires sans modifier les contenus sémantiques.Ces techniques contribuent collectivement au développement du Transformateur Visuel en Domaine Croisé pour CD-FSOD (CD-ViTO), offrant une amélioration significative par rapport au DE-ViT de base. Les résultats expérimentaux valident l'efficacité de notre modèle.