HyperAIHyperAI

Command Palette

Search for a command to run...

Plus c’est gros, moins c’est bon : apprentissage de représentations vidéo efficaces par réseau Big-Little et agrégation temporelle creuse

Quanfu Fan Chun-Fu Chen Hilde Kuehne Marco Pistoia David Cox

Résumé

Les modèles actuels d’avant-garde pour la reconnaissance d’actions vidéo reposent principalement sur des réseaux de convolution 3D coûteux. Cela entraîne la nécessité d’utiliser de grands clusters de GPU pour entraîner et évaluer ces architectures. Pour remédier à ce problème, nous proposons une architecture légère et économe en mémoire pour la reconnaissance d’actions, capable de rivaliser ou de surpasser les architectures actuelles tout en utilisant uniquement une fraction des ressources. L’architecture proposée repose sur une combinaison d’un sous-réseau profond opérant sur des images à faible résolution et d’un sous-réseau compact fonctionnant sur des images à haute résolution, permettant ainsi d’obtenir à la fois une grande efficacité et une haute précision. Nous démontrons que notre approche réduit les FLOPs de 343\sim434 fois et la consommation mémoire d’environ 222 fois par rapport à la base. Cela permet d’entraîner des modèles plus profonds avec un plus grand nombre d’images d’entrée, dans le même budget computationnel. Pour réduire davantage la nécessité d’opérations de convolution 3D à grande échelle, nous proposons un module d’agrégation temporelle permettant de modéliser les dépendances temporelles dans une vidéo à un coût computationnel négligeable. Nos modèles obtiennent des performances solides sur plusieurs benchmarks de reconnaissance d’actions, notamment Kinetics, Something-Something et Moments-in-time. Le code et les modèles sont disponibles à l’adresse suivante : https://github.com/IBM/bLVNet-TAM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp