HyperAIHyperAI

Command Palette

Search for a command to run...

Affinement de la segmentation d’actions à l’aide de représentations vidéo hiérarchiques

Dongheui Lee Hyemin Ahn

Résumé

Dans cet article, nous proposons le modèle Hierarchical Action Segmentation Refiner (HASR), capable de raffiner les résultats de segmentation d’actions temporelles provenant de divers modèles en compréhension du contexte global d’une vidéo de manière hiérarchique. Lorsqu’un modèle principal (backbone) pour la segmentation d’actions estime la manière dont une vidéo donnée peut être segmentée, notre modèle extrait des représentations au niveau des segments à partir des caractéristiques au niveau des trames, puis extrait une représentation au niveau de la vidéo à partir des représentations au niveau des segments. À partir de ces représentations hiérarchiques, notre modèle peut faire référence au contexte global de toute la vidéo afin de prédire les corrections nécessaires pour les étiquettes de segments qui s’écartent du contexte. Le modèle HASR peut être intégré à divers modèles de segmentation d’actions (MS-TCN, SSTDA, ASRF) et améliore les performances des modèles de pointe sur trois jeux de données exigeants (GTEA, 50Salads et Breakfast). Par exemple, sur le jeu de données 50Salads, le score d’édition segmentaire passe de 67,9 % à 77,4 % (MS-TCN), de 75,8 % à 77,3 % (SSTDA), et de 79,3 % à 81,0 % (ASRF). En outre, notre modèle est capable de raffiner les résultats de segmentation provenant d’un modèle principal inconnu, non utilisé lors de l’entraînement de HASR. Cette capacité de généralisation en fait un outil efficace pour améliorer les approches existantes en segmentation d’actions temporelles. Le code source est disponible à l’adresse suivante : https://github.com/cotton-ahn/HASR_iccv2021.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Affinement de la segmentation d’actions à l’aide de représentations vidéo hiérarchiques | Articles | HyperAI