HyperAIHyperAI

Command Palette

Search for a command to run...

R-C3D : Réseau de convolution 3D par région pour la détection d'activités temporelles

Huijuan Xu Abir Das Kate Saenko

Résumé

Nous abordons le problème de détection d'activités dans des flux vidéo continus et non coupés. Cette tâche est complexe et nécessite l'extraction de caractéristiques spatio-temporelles significatives pour capturer les activités, ainsi que la localisation précise des temps de début et de fin de chaque activité. Nous présentons un nouveau modèle, le Réseau 3D à Convolutions Régionales (R-C3D), qui encode les flux vidéo à l'aide d'un réseau neuronal convolutif entièrement tridimensionnel, génère ensuite des régions temporelles candidates contenant des activités, et enfin classe ces régions sélectionnées en activités spécifiques. Les calculs sont optimisés grâce au partage des caractéristiques convolutives entre les pipelines de proposition et de classification. Le modèle complet est entraîné de bout en bout avec des pertes de localisation et de classification conjointement optimisées. L'approche R-C3D est plus rapide que les méthodes existantes (569 images par seconde sur une seule carte graphique Titan X Maxwell) et obtient des résultats d'état de l'art sur THUMOS'14. Nous démontrons également que notre modèle constitue un cadre général pour la détection d'activités qui ne repose pas sur des hypothèses concernant les propriétés spécifiques d'un ensemble de données, en évaluant notre approche sur ActivityNet et Charades. Notre code est disponible à l'adresse http://ai.bu.edu/r-c3d/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
R-C3D : Réseau de convolution 3D par région pour la détection d'activités temporelles | Articles | HyperAI