HyperAIHyperAI

Command Palette

Search for a command to run...

Vers l'apprentissage faiblement supervisé de bout en bout pour la reconnaissance d'actions dans les vidéos longues

Zhou Jiaming ; Li Hanjun ; Lin Kun-Yu ; Liang Junwei

Résumé

Le développement de modèles de reconnaissance d'actions de bout en bout sur des vidéos longues est fondamental et crucial pour la compréhension des actions dans les vidéos longues. En raison du coût prohibitif de l'entraînement de bout en bout sur l'ensemble des vidéos longues, les travaux existants entraînent généralement les modèles sur des extraits courts issus de ces vidéos longues. Cependant, cette pratique « troncature puis entraînement » nécessite des annotations d'intervalle d'action pour la supervision au niveau des extraits, c'est-à-dire connaître quelles actions ont été tronquées dans les extraits. Malheureusement, recueillir de telles annotations est très coûteux et empêche l'entraînement à grande échelle des modèles. Afin de résoudre ce problème, ce travail vise à construire un cadre d'entraînement faiblement supervisé de bout en bout pour entraîner des modèles de reconnaissance sur des vidéos longues, avec uniquement des étiquettes catégorielles d'action au niveau vidéo. Sans connaître les emplacements temporels précis des actions dans les vidéos longues, notre cadre faiblement supervisé proposé, nommé AdaptFocus, estime où et avec quelle probabilité les actions se produisent afin de se concentrer adaptivement sur les extraits d'action informatifs pour l'entraînement de bout en bout. L'efficacité du cadre AdaptFocus proposé est démontrée sur trois jeux de données de vidéos longues. De plus, pour les tâches ultérieures sur les vidéos longues, notre cadre AdaptFocus fournit une pipeline faiblement supervisée d'extraction de caractéristiques permettant d'extraire des caractéristiques plus robustes des vidéos longues, ce qui améliore considérablement les méthodes actuelles sur ces tâches ultérieures. Nous mettrons à disposition le code et les modèles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp