深層畳み込みネットワークは、静止画像における視覚認識において大きな成功を収めている。しかし、動画における行動認識においては、従来の手法に対する優位性はそれほど明確ではない。本研究では、動画における行動認識に効果的なConvNetアーキテクチャを設計するための原則を明らかにし、限られた学習サンプル条件下でこれらのモデルを学習することを目指す。本研究の第一の貢献は、長期的な時系列構造モデリングを基本理念とする、動画ベースの行動認識のための新しいフレームワーク「時系列セグメントネットワーク（Temporal Segment Network, TSN）」の提案である。TSNは、疎な時系列サンプリング戦略と動画レベルの教師信号を組み合わせることで、全体の行動動画を効率的かつ効果的に学習可能にする。第二の貢献は、TSNを活用した動画データにおけるConvNet学習に関する一連の優れた実践手法の検討である。本手法は、HMDB51データセット（69.4％）およびUCF101データセット（94.2％）において、現時点での最良性能を達成した。さらに、学習されたConvNetモデルの可視化を行い、TSNの有効性および提案する実践手法の妥当性を定性的に示した。