フレームシーケンスにおける時空間表現は、動作認識タスクにおいて重要な役割を果たします。従来、光学フローを時間情報を表すものとして、空間情報を含むRGB画像のセットと組み合わせて使用する方法が、動作認識タスクの性能向上に大きく貢献していました。しかし、この方法には高い計算コストがかかり、2ストリーム（RGBと光学フロー）のフレームワークが必要でした。本論文では、 Motion Feature Network (MFNet) を提案します。このネットワークにはモーションブロックが含まれており、隣接するフレーム間の時空間情報を統一されたネットワーク内で符号化し、エンドツーエンドで学習することが可能となります。モーションブロックは既存のCNNベースの動作認識フレームワークに簡単に追加でき、わずかな追加コストしかかかりません。私たちは Jester および Something-Something の2つの動作認識データセットでネットワークを評価し、ネットワークをゼロから学習させることで両データセットに対して競争力のある性能を達成しました。