HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage audiovisuel zéro-shot hyperbolique

Hong Jie ; Hayder Zeeshan ; Han Junlin ; Fang Pengfei ; Harandi Mehrtash ; Petersson Lars

Résumé

L'apprentissage visio-audio à zéro exemple vise à classer des échantillons composés d'une paire de séquences audio et vidéo correspondantes appartenant à des classes qui n'étaient pas présentes lors de l'entraînement. Une analyse des données visio-audio révèle un degré important d'hyperbolicité, suggérant le potentiel avantage de l'utilisation d'une transformation hyperbolique pour réaliser un apprentissage géométrique prenant en compte la courbure, dans le but d'explorer des structures de données hiérarchiques plus complexes pour cette tâche. L'approche proposée utilise une nouvelle fonction de perte qui intègre l'alignement inter-modalités entre les caractéristiques vidéo et audio dans l'espace hyperbolique. De plus, nous explorons l'utilisation de plusieurs courbures adaptatives pour les projections hyperboliques. Les résultats expérimentaux sur cette tâche très difficile montrent que notre approche hyperbolique pour l'apprentissage à zéro exemple surpasse la méthode SOTA (State Of The Art) sur trois jeux de données : VGGSound-GZSL, UCF-GZSL et ActivityNet-GZSL, avec une amélioration respective du moyenne harmonique (HM) d'environ 3,0 %, 7,0 % et 5,3 %.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp