HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage spatio-temporel auto-supervisé par prédiction de l'ordre des extraits vidéo

Yueting Zhuang Di Xie Jian Shao Zhou Zhao Jun Xiao Dejing Xu

Résumé

Nous proposons une technique d’apprentissage spatio-temporel auto-supervisé qui exploite l’ordre chronologique des vidéos. Notre méthode permet d’apprendre une représentation spatio-temporelle des vidéos en prédisant l’ordre des extraits mélangés extraits de la vidéo. Aucune étiquette de catégorie vidéo n’est requise, ce qui confère à notre approche le potentiel d’exploiter un nombre infini de vidéos non annotées. Bien qu’il existe des travaux antérieurs utilisant des trames, les extraits (clips) sont plus cohérents avec la dynamique vidéo. Ils permettent de réduire l’incertitude relative à l’ordre et s’avèrent plus adaptés pour apprendre une représentation vidéo. Des réseaux de neurones convolutifs 3D sont utilisés pour extraire les caractéristiques des clips, dont les représentations sont ensuite traitées afin de prédire l’ordre réel. Les représentations apprises sont évaluées à l’aide d’expériences de recherche par plus proche voisin. Nous utilisons également les réseaux appris comme modèles pré-entraînés, puis les fine-tunons sur une tâche de reconnaissance d’actions. Trois types de réseaux de neurones convolutifs 3D sont testés dans les expériences, et nous obtenons des améliorations significatives par rapport aux méthodes auto-supervisées existantes.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp