HyperAIHyperAI

Command Palette

Search for a command to run...

COMÉDIEN : Apprentissage auto-supervisé et distillation de connaissances pour la détection d'actions à l'aide de transformateurs

Denize Julien ; Liashuha Mykola ; Rabarisoa Jaonary ; Orcesi Astrid ; Hérault Romain

Résumé

Nous présentons COMEDIAN, un nouveau pipeline pour l'initialisation de transformateurs spatio-temporels destinés à la détection d'actions, qui implique l'apprentissage auto-supervisé et le transfert de connaissances. La détection d'actions consiste en une tâche de détection temporelle d'actions au niveau des timestamps. Notre pipeline se compose de trois étapes, avec deux phases d'initialisation. Premièrement, nous effectuons l'initialisation auto-supervisée d'un transformateur spatial en utilisant des vidéos courtes comme entrée. De plus, nous initialisons un transformateur temporel qui améliore les sorties du transformateur spatial en y ajoutant un contexte global grâce au transfert de connaissances depuis une banque de caractéristiques pré-calculée alignée sur chaque segment de vidéo courte. Dans l'étape finale, nous ajustons finement les transformateurs à la tâche de détection d'actions. Les expériences menées sur le dataset SoccerNet-v2 montrent des performances de pointe et valident l'efficacité du paradigme d'pré-entraînement de COMEDIAN. Nos résultats mettent en lumière plusieurs avantages de notre pipeline d'pré-entraînement, notamment une meilleure performance et une convergence plus rapide par rapport aux modèles non pré-entraînés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
COMÉDIEN : Apprentissage auto-supervisé et distillation de connaissances pour la détection d'actions à l'aide de transformateurs | Articles | HyperAI