Recherche d'architecture de ConvNet pour l'apprentissage de caractéristiques spatio-temporelles

L'apprentissage de représentations d'images avec des ConvNets en pré-entraînant sur ImageNet s'est révélé utile dans de nombreuses tâches de compréhension visuelle, notamment la détection d'objets, la segmentation sémantique et la légendage d'images. Bien que toute représentation d'image puisse être appliquée aux images vidéo, une représentation spatio-temporelle dédiée reste essentielle pour intégrer les modèles de mouvement qui ne peuvent pas être capturés par les seuls modèles basés sur l'apparence. Cet article présente une recherche empirique d'architecture ConvNet pour l'apprentissage de caractéristiques spatio-temporelles, aboutissant à un réseau convolutif résiduel profond et tridimensionnel (3D). Notre architecture proposée surpass largement le C3D sur Sports-1M, UCF101, HMDB51, THUMOS14 et ASLAN tout en étant deux fois plus rapide lors de l'inférence, deux fois plus petite en termes de taille du modèle et dotée d'une représentation plus compacte.