HyperAIHyperAI

Command Palette

Search for a command to run...

Classification de vidéos en few-shot par alignement temporel

Kaidi Cao; Jingwei Ji; Zhangjie Cao; Chien-Yi Chang; Juan Carlos Niebles

Résumé

L'intérêt pour l'apprentissage d'un modèle capable de reconnaître de nouvelles classes avec seulement quelques exemples étiquetés est en constante augmentation. Dans cet article, nous proposons le module d'alignement temporel (TAM), un cadre novateur d'apprentissage par tirs limités qui peut apprendre à classifier une vidéo précédemment non vue. Alors que la plupart des travaux antérieurs négligent les informations d'ordre temporel à long terme, notre modèle proposé exploite explicitement ces informations dans les données vidéo grâce à l'alignement temporel. Cela conduit à une forte efficacité des données pour l'apprentissage par tirs limités. Plus précisément, TAM calcule la valeur de distance entre la vidéo de requête et les représentants de nouvelles classes en moyennant les distances par image le long de son chemin d'alignement. Nous introduisons une relaxation continue dans TAM afin que le modèle puisse être appris de manière end-to-end pour optimiser directement l'objectif d'apprentissage par tirs limités. Nous évaluons TAM sur deux jeux de données réels et difficiles, Kinetics et Something-Something-V2, et montrons que notre modèle apporte une amélioration significative de la classification vidéo par tirs limités par rapport à une large gamme de baselines compétitives.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Classification de vidéos en few-shot par alignement temporel | Articles | HyperAI