HyperAIHyperAI

Command Palette

Search for a command to run...

MoViNets : Réseaux vidéo mobiles pour une reconnaissance vidéo efficace

Dan Kondratyuk Liangzhe Yuan Yandong Li Li Zhang Mingxing Tan Matthew Brown Boqing Gong

Résumé

Nous présentons MoViNets, une famille de réseaux vidéo efficaces en termes de calcul et de mémoire, capables de fonctionner sur des vidéos en flux continu pour des inférences en ligne. Les réseaux de neurones convolutifs 3D (CNN 3D) sont précis pour la reconnaissance vidéo, mais nécessitent des budgets importants en calcul et en mémoire, et ne supportent pas l'inférence en ligne, ce qui les rend difficiles à déployer sur des dispositifs mobiles. Nous proposons une approche en trois étapes visant à améliorer l'efficacité computationnelle tout en réduisant de manière significative l'utilisation mémoire maximale des CNN 3D. Premièrement, nous définissons un espace de recherche d'architectures de réseaux vidéo et utilisons une recherche d'architecture neuronale (NAS) pour générer des architectures 3D CNN efficaces et diversifiées. Deuxièmement, nous introduisons la technique du Stream Buffer, qui découple la mémoire de la durée de la séquence vidéo, permettant aux CNN 3D d'encoder des séquences vidéo en flux de longueur arbitraire, tant pour l'entraînement que pour l'inférence, avec une empreinte mémoire constante et faible. Troisièmement, nous proposons une technique simple d'ensemblage pour améliorer davantage la précision sans sacrifier l'efficacité. Ces trois techniques progressives permettent à MoViNets d'atteindre des performances de pointe en précision et en efficacité sur les jeux de données de reconnaissance d'actions vidéo Kinetics, Moments in Time et Charades. Par exemple, MoViNet-A5-Stream atteint la même précision que X3D-XL sur Kinetics 600 tout en nécessitant 80 % moins d’opérations flottantes (FLOPs) et 65 % moins de mémoire. Le code sera mis à disposition à l’adresse suivante : https://github.com/tensorflow/models/tree/master/official/vision.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp