Ce travail porte sur la reconnaissance des activités humaines se déroulant dans des vidéos à différents niveaux sémantiques, incluant les actions individuelles, les interactions et les activités de groupe. La reconnaissance est réalisée à l'aide d'une hiérarchie à deux niveaux de réseaux de mémoire à court et long terme (LSTM), formant une architecture profonde de type feed-forward, qui peut être entraînée de bout en bout. Comparativement aux architectures existantes de LSTM, nous apportons deux contributions majeures qui donnent leur nom à notre approche : le Réseau Récurent Confiance-Énergie -- CERN. Premièrement, au lieu d'utiliser la couche softmax courante pour la prédiction, nous spécifions une nouvelle couche énergie (EL) pour estimer l'énergie de nos prédictions. Deuxièmement, plutôt que de trouver l'attribution de classe d'énergie minimale courante, qui peut être numériquement instable sous incertitude, nous spécifions que l'EL calcule également les p-valeurs des solutions, et ainsi estime le minimum d'énergie le plus confiant. L'évaluation sur les ensembles de données Collective Activity et Volleyball montre : (i) les avantages de nos deux contributions par rapport aux formulations courantes du softmax et de la minimisation d'énergie et (ii) une performance supérieure par rapport aux approches actuelles de pointe.