Moyenne mobile à poids dynamique basée sur HSIC pour la détection d'objets en jeu ouvert à faible exemplaire

Nous étudions le problème de la détection d'objets en mode open-set avec peu d'exemples (FOOD), dont l'objectif est d'adapter rapidement un modèle à partir d'un petit ensemble d'échantillons étiquetés tout en rejetant les échantillons appartenant à des classes inconnues. Les travaux récents utilisent généralement une élagage des poids pour le rejet des classes inconnues, mais en raison du manque de considérations spécifiques aux scénarios à faible quantité de données, les performances obtenues restent insatisfaisantes. Dans ce travail, nous abordons le défi de la détection d'objets en mode open-set avec peu d'exemples sous trois angles. Premièrement, contrairement aux méthodes précédentes de recherche de pseudo-échantillons inconnus, nous exploitons l'incertitude évidentielle estimée à partir de la distribution Dirichlet des probabilités pour extraire des pseudo-échantillons inconnus à la fois dans l'espace des propositions d'objets (foreground) et de fond (background). Deuxièmement, à partir d'une analyse statistique entre le nombre de pseudo-échantillons inconnus et le taux d'intersection sur union (IoU), nous proposons une fonction objectif sensible à l'IoU, qui affine la frontière de décision des classes inconnues en tenant compte de la qualité de localisation. Troisièmement, afin de réduire le surapprentissage et d'améliorer la capacité de généralisation du modèle au rejet des classes inconnues, nous introduisons une moyenne pondérée des poids basée sur le critère d'indépendance de Hilbert-Schmidt (HSIC), qui met à jour les poids des têtes de classification et de régression en considérant le degré d'indépendance entre les poids actuels et les poids précédents stockés dans des mémoires à long terme. Nous comparons notre méthode à plusieurs approches de pointe et constatons que notre méthode améliore le rappel moyen des classes inconnues de 12,87 % dans toutes les configurations de tirage (shots) sur le jeu de données VOC-COCO. Notre code est disponible à l'adresse suivante : https://github.com/binyisu/food.