Le transfert d’un compromis équilibré entre ID et OOD améliore la capacité d’apprentissage peu supervisé des détecteurs basés sur les requêtes

Le fine-tuning est une approche courante pour résoudre le problème de détection d'objets en peu d'exemples (few-shot object detection, FSOD). Dans ce papier, nous proposons une nouvelle perspective sur cette approche. Nous formulons les tâches novatrices en peu d'exemples comme une modification de distribution par rapport à leur distribution réelle (ground-truth). Nous introduisons le concept de masques fantômes imaginaires afin de démontrer que ce décalage de distribution est essentiellement une combinaison de décalages intra-distribution (ID) et extra-distribution (OOD). Nos résultats expérimentaux montrent qu’il est crucial d’équilibrer le compromis entre l’adaptation à la distribution disponible en peu d’exemples et le maintien de la robustesse aux décalages de distribution du modèle pré-entraîné. Nous explorons des améliorations du transfert en fine-tuning en peu d’exemples dans le cadre de la FSOD sous trois angles. Premièrement, nous étudions la technique de LinearProbe-Finetuning (LP-FT) pour équilibrer ce compromis et atténuer le problème de distorsion des caractéristiques. Deuxièmement, nous évaluons l’efficacité de la stratégie de gel de protection pour les détecteurs d’objets basés sur les requêtes, afin de préserver leur robustesse aux données hors distribution. Troisièmement, nous examinons l’utilisation de méthodes d’ensemblage pour contourner la distorsion des caractéristiques. Toutes ces techniques sont intégrées dans une méthode globale appelée BIOT (Balanced ID-OOD Transfer). Les résultats d’évaluation montrent que notre méthode est simple, efficace et généralisable, permettant d’exploiter pleinement le potentiel des détecteurs d’objets basés sur les requêtes en peu d’exemples. Elle surpasser la méthode SOTA actuelle dans de nombreux scénarios de FSOD et présente un fort potentiel d’échelle.