HyperAIHyperAI

Command Palette

Search for a command to run...

ASM-Loc : Modélisation des segments consciente des actions pour la localisation temporelle des actions à supervision faible

Bo He Xitong Yang Le Kang Zhiyu Cheng Xin Zhou Abhinav Shrivastava

Résumé

La localisation temporelle d’actions faiblement supervisée vise à reconnaître et localiser des segments d’actions dans des vidéos non tronquées, en ne disposant que d’étiquettes au niveau de la vidéo pour l’entraînement. Sans information sur les bornes des segments d’actions, les méthodes existantes s’appuient principalement sur l’apprentissage par instances multiples (MIL), où les prédictions des instances non étiquetées (c’est-à-dire des extraits vidéo) sont supervisées par la classification des sacs étiquetés (c’est-à-dire des vidéos non tronquées). Toutefois, cette formulation traite généralement les extraits d’une vidéo comme des instances indépendantes, négligeant ainsi les structures temporelles sous-jacentes à l’intérieur et entre les segments d’actions. Pour résoudre ce problème, nous proposons \system, un nouveau cadre pour la WTAL (Weakly-supervised Temporal Action Localization) permettant une modélisation explicite et consciente des segments d’actions, au-delà des méthodes basées sur le MIL standard. Notre cadre repose sur trois composants centrés sur les segments : (i) un échantillonnage dynamique de segments afin de compenser la contribution des actions courtes ; (ii) une attention intra- et inter-segments pour modéliser les dynamiques d’action et capturer les dépendances temporelles ; (iii) une supervision pseudo au niveau des instances pour améliorer la prédiction des bornes des actions. En outre, une stratégie de raffinement en plusieurs étapes est proposée afin d’améliorer progressivement les propositions d’actions tout au long du processus d’entraînement du modèle. Des expériences étendues sur les jeux de données THUMOS-14 et ActivityNet-v1.3 démontrent l’efficacité de notre approche, établissant de nouveaux états de l’art sur les deux jeux de données. Le code et les modèles sont disponibles publiquement à l’adresse~\url{https://github.com/boheumd/ASM-Loc}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ASM-Loc : Modélisation des segments consciente des actions pour la localisation temporelle des actions à supervision faible | Articles | HyperAI