Raisonnement des Relations Sémantiques pour la Détection d'Objets en Few-Shot Stable par Image

La détection d'objets à faible nombre de tirages (few-shot) est un problème impératif et durable en raison de la distribution à queue longue inhérente des données du monde réel. Les performances de cette tâche sont largement influencées par la rareté des données pour les nouvelles classes. Cependant, la relation sémantique entre les nouvelles classes et les classes de base reste constante, indépendamment de la disponibilité des données. Dans ce travail, nous examinons l'utilisation de cette relation sémantique conjointement avec les informations visuelles et introduisons une raisonnement explicite des relations dans l'apprentissage de la détection d'objets nouveaux. Plus précisément, chaque concept de classe est représenté par un plongement sémantique appris à partir d'un grand corpus de texte. Le détecteur est formé pour projeter les représentations d'images des objets dans cet espace de plongement. Nous identifions également les problèmes liés à l'utilisation triviale des plongements bruts avec un graphe de connaissances heuristique et proposons d'augmenter ces plongements avec un graphe de relations dynamique. En conséquence, notre détecteur à faible nombre de tirages, nommé SRR-FSD (Semantic Relation Reasoning Few-Shot Detector), est robuste et stable face aux variations du nombre de tirages pour les objets nouveaux. Les expériences montrent que SRR-FSD peut obtenir des résultats compétitifs à un plus grand nombre de tirages, et plus important encore, une performance significativement meilleure pour un nombre inférieur de tirages explicites et implicites. Le protocole benchmark qui supprime les tirages implicites du jeu de données pré-entraîné pour la classification peut servir comme cadre plus réaliste pour les futures recherches.