HyperAIHyperAI

Command Palette

Search for a command to run...

Segmentation d’actions temporelle à partir de la supervision par horodatage

Zhe Li Yazan Abu Farha Juergen Gall

Résumé

Les approches de segmentation d’actions temporelles ont connu un succès récent marqué. Toutefois, l’étiquetage des vidéos par des étiquettes au niveau des trames nécessaire à l’entraînement de ces modèles s’avère très coûteux en temps et en ressources. Bien que les méthodes faiblement supervisées, entraînées uniquement à partir de listes d’actions ordonnées, exigent un effort d’étiquetage moindre, leurs performances restent inférieures à celles des approches pleinement supervisées. Dans ce travail, nous proposons d’utiliser une supervision par timestamps pour la tâche de segmentation d’actions temporelles. Les timestamps requièrent un effort d’étiquetage comparable à celui des méthodes faiblement supervisées, tout en fournissant toutefois un signal de supervision plus riche. Pour démontrer l’efficacité de cette supervision par timestamps, nous proposons une méthode d’entraînement d’un modèle de segmentation utilisant uniquement des annotations de timestamps. Notre approche exploite les sorties du modèle et les timestamps annotés afin de générer des étiquettes au niveau des trames par détection des changements d’action. Nous introduisons également une perte de confiance qui impose que les probabilités prédites décroissent de manière monotone avec la distance aux timestamps. Cela garantit que toutes les trames d’une action, et non seulement les plus marquantes, sont apprises durant l’entraînement. Les évaluations effectuées sur quatre jeux de données montrent que les modèles entraînés avec des annotations de timestamps atteignent des performances comparables à celles des approches pleinement supervisées.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Segmentation d’actions temporelle à partir de la supervision par horodatage | Articles | HyperAI