Détection d'objets en few-shot par réaffectation des caractéristiques

L'entraînement conventionnel d'un détecteur d'objets basé sur un CNN profond nécessite un grand nombre d'annotations de boîtes englobantes, qui peuvent ne pas être disponibles pour des catégories rares. Dans ce travail, nous développons un détecteur d'objets à quelques exemples (few-shot) capable d'apprendre à détecter de nouveaux objets à partir de seulement quelques exemples annotés. Notre modèle proposé exploite les classes de base entièrement étiquetées et s'adapte rapidement aux nouvelles classes, en utilisant un apprenant de caractéristiques métiers et un module de réaffectation au sein d'une architecture de détection en une seule étape. L'apprenant de caractéristiques métiers extrait des caractéristiques métiers généralisables pour détecter les nouvelles classes d'objets, en utilisant des données d'entraînement provenant des classes de base avec suffisamment d'échantillons. Le module de réaffectation transforme quelques exemples supports des nouvelles classes en un vecteur global indiquant l'importance ou la pertinence des caractéristiques métiers pour la détection des objets correspondants. Ces deux modules, associés à un module de prédiction de détection, sont entraînés bout-à-bout selon un schéma d'apprentissage à quelques exemples épisodique et une fonction de perte soigneusement conçue. À travers des expériences approfondies, nous montrons que notre modèle surpass largement les lignes directrices bien établies pour la détection d'objets à quelques exemples, sur plusieurs jeux de données et configurations. Nous présentons également une analyse sous différents aspects de notre modèle proposé, visant à fournir certaines inspirations pour les travaux futurs sur la détection à quelques exemples.