HyperAIHyperAI

Command Palette

Search for a command to run...

Atténuation des erreurs de sur-segmentation par la détection des frontières d'action

Yuchi Ishikawa Seito Kasai Yoshimitsu Aoki Hirokatsu Kataoka

Résumé

Nous proposons un cadre efficace pour la tâche de segmentation d’actions temporelles, nommé Action Segment Refinement Framework (ASRF). Notre architecture de modèle repose sur un extracteur de caractéristiques à long terme ainsi que sur deux branches : la branche de segmentation d’actions (ASB) et la branche de régression des frontières (BRB). L’extracteur de caractéristiques à long terme fournit des caractéristiques partagées aux deux branches grâce à un champ réceptif temporel étendu. La branche ASB classe les cadres vidéo selon des catégories d’actions, tandis que la branche BRB prédit les probabilités de frontières d’actions. Les frontières d’actions prédites par la BRB permettent de raffiner les sorties de la ASB, entraînant ainsi une amélioration significative des performances. Nos contributions sont triples : (i) Nous proposons un cadre pour la segmentation d’actions temporelles, l’ASRF, qui décompose cette tâche en une classification d’actions par cadre et une régression des frontières d’actions. Notre cadre affine les hypothèses au niveau des cadres en matière de catégories d’actions à l’aide des frontières d’actions prédites. (ii) Nous proposons une fonction de perte pour lisser la transition des probabilités d’actions, et analysons différentes combinaisons de fonctions de perte pour la segmentation d’actions temporelles. (iii) Notre cadre surpasser les méthodes de pointe sur trois jeux de données exigeants, offrant une amélioration allant jusqu’à 13,7 % en distance d’édition segmentale et jusqu’à 16,1 % en score F1 segmental. Le code source sera bientôt mis à disposition publiquement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp