Les caractéristiques d'apparence ont été largement utilisées pour la détection d'anomalies dans les vidéos, bien qu'elles contiennent des facteurs complexes et entrelacés. Nous proposons une nouvelle méthode pour modéliser les schémas normaux des mouvements humains dans les vidéos de surveillance à l'aide de caractéristiques squelettiques dynamiques. Nous décomposons les mouvements squelettiques en deux sous-composants : le mouvement global du corps et la posture locale du corps. Nous modélisons la dynamique et l'interaction des caractéristiques couplées dans notre nouveau réseau récurrent à encodeur-décodeur avec passage de messages (Message-Passing Encoder-Decoder Recurrent Network). Nous avons observé que les caractéristiques désentrelacées interagissent de manière collaborative dans notre modèle spatio-temporel pour identifier avec précision les événements irréguliers liés aux humains à partir de séquences vidéo de surveillance. Par rapport aux modèles traditionnels basés sur l'apparence, notre méthode offre une performance supérieure en détection d'outliers. Notre modèle permet également un examen « open-box » et une explication des décisions, rendus possibles par des caractéristiques sémantiquement compréhensibles et une architecture de réseau favorisant l'interprétabilité.