本研究は、ビデオ内で異なる意味レベルで発生する人間の活動を認識することに焦点を当てています。これらの活動には、個々の動作、相互作用、およびグループ活動が含まれます。認識は、長短期記憶（Long Short-Term Memory: LSTM）ネットワークの2段階階層を使用して実現され、これは前向き深層アーキテクチャを形成し、エンドツーエンドで学習することができます。既存のLSTMアーキテクチャと比較して、我々のアプローチを「信頼エネルギーリカレントネットワーク（Confidence-Energy Recurrent Network: CERN）」と呼ぶ2つの主要な貢献を行っています。まず、一般的なソフトマックス層ではなく、予測のエネルギーを推定する新しいエネルギー層（Energy Layer: EL）を使用しています。次に、不確実性下での数値的な不安定さにつながる可能性のある一般的な最小エネルギークラス割り当てではなく、ELがさらに解のp値を計算し、最も信頼できる最小エネルギーを推定するように指定しています。Collective ActivityデータセットとVolleyballデータセットでの評価により以下のことが示されました。(i) 一般的なソフトマックスとエネルギー最小化の公式に対する我々の2つの貢献の優位性と (ii) 現行最先端の手法に対する優れた性能です。