HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage contrastif guidé par l'incohérence d'action pour la localisation temporelle d'actions faiblement supervisée

Qinying Liu Zilei Wang Zhilin Li

Résumé

La localisation temporelle d’actions faiblement supervisée (WTAL) vise à détecter les instances d’actions à partir uniquement d’étiquettes au niveau des vidéos. Pour relever ce défi, les méthodes récentes emploient fréquemment un cadre à deux branches, composé d’une branche sensible aux classes et d’une branche insensible aux classes. En principe, ces deux branches devraient produire des activations d’action similaires. Toutefois, nous observons qu’il existe en réalité de nombreuses régions d’activation incohérentes. Ces régions incohérentes contiennent généralement des segments difficiles dont l’information sémantique (action ou fond) est ambiguë. Dans ce travail, nous proposons une nouvelle méthode, appelée apprentissage contrastif guidé par l’incohérence d’action (AICL), qui exploite les segments cohérents pour améliorer l’apprentissage des représentations des segments incohérents. Plus précisément, nous définissons d’abord les segments cohérents et incohérents en comparant les prédictions des deux branches, puis nous construisons des paires positives et négatives entre les segments cohérents et les segments incohérents afin de réaliser un apprentissage contrastif. En outre, afin d’éviter le cas trivial où aucun échantillon cohérent n’existe, nous introduisons une contrainte de cohérence d’action pour limiter la différence entre les deux branches. Nous menons des expériences étendues sur les jeux de données THUMOS14, ActivityNet v1.2 et ActivityNet v1.3, et les résultats démontrent l’efficacité de AICL, atteignant des performances de pointe. Notre code est disponible à l’adresse suivante : https://github.com/lizhilin-ustc/AAAI2023-AICL.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp