CFA : Approche de fine-tuning basée sur des contraintes pour la détection d'objets à peu de exemples généralisée

La détection d'objets à peu de exemples (FSOD) vise à détecter des catégories nouvelles à partir de données limitées en exploitant les connaissances antérieures tirées d’un ensemble de données de base abondant. La détection d'objets à peu de exemples généralisée (G-FSOD) vise à résoudre le problème de la FSOD sans oublier les classes de base précédemment observées, ce qui correspond à une situation plus réaliste, où les deux types de classes sont présents au moment de l’évaluation. Bien que les méthodes actuelles de FSOD souffrent du phénomène d’oubli catastrophique, la G-FSOD atténue cette limitation, tout en présentant une baisse de performance sur les tâches nouvelles par rapport aux méthodes de pointe en FSOD. Dans ce travail, nous proposons une approche de finetuning basée sur des contraintes (CFA) afin de réduire l’oubli catastrophique tout en obtenant des résultats compétitifs sur les tâches nouvelles, sans augmenter la capacité du modèle. CFA adapte une méthode d’apprentissage continu, à savoir le mémoire épisodique de gradient moyen (A-GEM), à la G-FSOD. Plus précisément, des contraintes supplémentaires sont imposées à la stratégie de recherche de gradient, permettant d’obtenir une nouvelle règle de mise à jour du gradient, favorisant ainsi un échange plus efficace des connaissances entre les classes de base et les classes nouvelles. Pour évaluer notre méthode, nous menons des expériences étendues sur les jeux de données MS-COCO et PASCAL-VOC. Notre approche surpasser les méthodes actuelles de FSOD et G-FSOD sur les tâches nouvelles, avec une légère dégradation mineure sur les tâches de base. En outre, CFA est orthogonale aux approches de FSOD et fonctionne comme un module plug-and-play, sans augmenter la capacité du modèle ni le temps d’inférence.