本稿では、行動認識に向けた情報量の多いフレームにおける時系列学習を活用するシンプルなアプローチを提示する。我々は、時間窓内での類似度手法のみを用いた、トレーニング不要なシンプルな適応的フレーム選択の枠組みを提案する。この提案するフレーム選択手法は、情報量の高いフレームを適切に捉え、意味のある特徴を提供する戦略を実現する。さらに、空間特徴抽出には転移学習を用い、時系列モデリングにはLSTMおよびGRUを採用している。本手法は、広く用いられている2つのデータセット、UCF11およびKTHにおいて評価され、妥当な結果を示した。