Diese Arbeit befasst sich mit der Erkennung menschlicher Aktivitäten in Videos auf verschiedenen semantischen Ebenen, einschließlich individueller Aktionen, Interaktionen und Gruppenaktivitäten. Die Erkennung wird durch eine zweistufige Hierarchie von Long Short-Term Memory (LSTM)-Netzwerken realisiert, die eine feedforward-tiefe Architektur bilden und end-to-end trainiert werden können. Im Vergleich zu bestehenden LSTM-Architekturen leisten wir zwei wesentliche Beiträge, die unserem Ansatz den Namen Confidence-Energy Recurrent Network – CERN verleihen. Erstens verwenden wir anstelle des üblichen Softmax-Layers einen neuen Energieschicht (EL) zur Schätzung der Energie unserer Vorhersagen. Zweitens berechnet die EL zusätzlich die p-Werte der Lösungen, um so das selbstbewusste Energieminimum zu schätzen, anstatt das übliche Energieminimum zu finden, was unter Unsicherheit numerisch instabil sein kann. Die Auswertung anhand der Collective Activity- und Volleyball-Datensätze zeigt: (i) Vorteile unserer beiden Beiträge im Vergleich zu den üblichen Softmax- und Energieminimierungsfomulierungen und (ii) eine überlegene Leistung im Vergleich zu den aktuellen Stand-der-Technik-Ansätzen.