Reconnaissance d'actions multi-tâches à zéro-shot avec augmentation de données priorisée
L'apprentissage à zéro exemple (Zero-Shot Learning, ZSL) promet d'élargir la reconnaissance visuelle en évitant la nécessité de formation conventionnelle des modèles avec des exemples annotés pour chaque catégorie. Cela est réalisé en établissant une correspondance reliant les caractéristiques de bas niveau et une description sémantique de l'espace des étiquettes, appelée cartographie visuelle-sémantique, sur des données auxiliaires. En réutilisant cette correspondance apprise pour projeter les vidéos cibles dans un espace d'embedding, il devient possible de reconnaître les nouvelles classes par inférence du plus proche voisin. Cependant, les méthodes ZSL existantes souffrent d'un décalage intrinsèque entre les domaines auxiliaire et cible, induit par l'hypothèse que la même correspondance s'applique aux classes auxiliaires et cibles disjointes. Ce décalage compromet la précision de généralisation de la reconnaissance ZSL sur les données cibles. Dans ce travail, nous améliorons la capacité du ZSL à généraliser au-delà de ce décalage de domaine, tant d'un point de vue centré sur le modèle que centré sur les données, en formulant une cartographie visuelle-sémantique dotée de meilleures propriétés de généralisation et en mettant au point une méthode dynamique de réaffectation pondérée des données pour privilégier les données auxiliaires pertinentes pour les classes cibles. Plus précisément : (1) Nous introduisons une cartographie visuelle-sémantique multi-tâches pour améliorer la généralisation en contraignant les paramètres de la carte sémantique à se situer sur une variété à faible dimension ; (2) Nous explorons l'augmentation prioritaire des données en élargissant le pool de données auxiliaires avec des instances supplémentaires pondérées selon leur pertinence pour le domaine cible. Le nouveau modèle proposé est appliqué au problème difficile de reconnaissance d'action à zéro exemple afin de démontrer ses avantages par rapport aux modèles ZSL existants.