HyperAIHyperAI

Command Palette

Search for a command to run...

Reconnaissance d'actions multi-tâches à zéro-shot avec augmentation de données priorisée

Xun Xu Timothy M. Hospedales Shaogang Gong

Résumé

L'apprentissage à zéro exemple (Zero-Shot Learning, ZSL) promet d'élargir la reconnaissance visuelle en évitant la nécessité de formation conventionnelle des modèles avec des exemples annotés pour chaque catégorie. Cela est réalisé en établissant une correspondance reliant les caractéristiques de bas niveau et une description sémantique de l'espace des étiquettes, appelée cartographie visuelle-sémantique, sur des données auxiliaires. En réutilisant cette correspondance apprise pour projeter les vidéos cibles dans un espace d'embedding, il devient possible de reconnaître les nouvelles classes par inférence du plus proche voisin. Cependant, les méthodes ZSL existantes souffrent d'un décalage intrinsèque entre les domaines auxiliaire et cible, induit par l'hypothèse que la même correspondance s'applique aux classes auxiliaires et cibles disjointes. Ce décalage compromet la précision de généralisation de la reconnaissance ZSL sur les données cibles. Dans ce travail, nous améliorons la capacité du ZSL à généraliser au-delà de ce décalage de domaine, tant d'un point de vue centré sur le modèle que centré sur les données, en formulant une cartographie visuelle-sémantique dotée de meilleures propriétés de généralisation et en mettant au point une méthode dynamique de réaffectation pondérée des données pour privilégier les données auxiliaires pertinentes pour les classes cibles. Plus précisément : (1) Nous introduisons une cartographie visuelle-sémantique multi-tâches pour améliorer la généralisation en contraignant les paramètres de la carte sémantique à se situer sur une variété à faible dimension ; (2) Nous explorons l'augmentation prioritaire des données en élargissant le pool de données auxiliaires avec des instances supplémentaires pondérées selon leur pertinence pour le domaine cible. Le nouveau modèle proposé est appliqué au problème difficile de reconnaissance d'action à zéro exemple afin de démontrer ses avantages par rapport aux modèles ZSL existants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Reconnaissance d'actions multi-tâches à zéro-shot avec augmentation de données priorisée | Articles | HyperAI