HyperAIHyperAI

Command Palette

Search for a command to run...

Détection d’actions temporelles bout-en-bout avec 1 milliard de paramètres sur 1000 trames

Shuming Liu Chen-Lin Zhang Chen Zhao Bernard Ghanem

Résumé

Récemment, la détection d’actions temporelles (TAD) a connu une amélioration significative grâce à l’entraînement end-to-end. Toutefois, en raison du goulot d’étranglement mémoire, seules les modèles à taille limitée et utilisant des volumes de données restreints peuvent bénéficier de cet entraînement end-to-end, ce qui restreint inévitablement les performances de la TAD. Dans cet article, nous réduisons la consommation mémoire liée à l’entraînement end-to-end, permettant ainsi d’augmenter la taille du modèle de base (backbone) à 1 milliard de paramètres et la longueur des vidéos d’entrée à 1 536 cadres, ce qui conduit à une amélioration notable de la performance de détection. Le cœur de notre approche réside dans le module léger novateur que nous proposons, appelé adaptateur informatif temporel (TIA), qui réduit la mémoire nécessaire à l’entraînement. Grâce au TIA, nous libérons le modèle de grande taille de la nécessité d’apprendre à s’adapter à la tâche de TAD, en ne mettant à jour que les paramètres du TIA. Le TIA améliore également les représentations pour la TAD en agrégant temporellement le contexte provenant des cadres voisins tout au long du modèle. Nous évaluons notre modèle sur quatre jeux de données représentatifs. Grâce à notre conception efficace, nous parvenons à entraîner de manière end-to-end sur VideoMAEv2-giant et obtenons un score mAP de 75,4 % sur THUMOS14, devenant ainsi le premier modèle end-to-end à surpasser les meilleures méthodes basées sur des caractéristiques. Le code est disponible à l’adresse suivante : https://github.com/sming256/AdaTAD.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp