Les réseaux de convolution profonds ont remporté un grand succès dans la reconnaissance visuelle d’images statiques. Toutefois, en ce qui concerne la reconnaissance d’actions dans les vidéos, leur avantage par rapport aux méthodes traditionnelles n’est pas aussi évident. Ce papier vise à identifier les principes permettant de concevoir des architectures de ConvNet efficaces pour la reconnaissance d’actions dans les vidéos, tout en apprenant ces modèles à partir de jeux de données d’entraînement limités. Notre première contribution est le réseau de segments temporels (Temporal Segment Network, TSN), un cadre novateur pour la reconnaissance d’actions à partir de vidéos, fondé sur l’idée de modélisation de structures temporelles à longue portée. Il combine une stratégie d’échantillonnage temporel creux et une supervision au niveau de la vidéo, permettant ainsi un apprentissage efficace et performant à partir de vidéos entières. La seconde contribution réside dans notre étude sur une série de bonnes pratiques pour l’apprentissage de ConvNet sur des données vidéo, facilitée par le réseau de segments temporels. Notre approche atteint des performances de pointe sur les jeux de données HMDB51 (69,4 %) et UCF101 (94,2 %). Nous présentons également des visualisations des modèles ConvNet appris, qui démontrent qualitativement l’efficacité du réseau de segments temporels ainsi que des bonnes pratiques proposées.