Ce papier aborde le problème de la détection d’anomalies dans les vidéos de surveillance. En raison de la rareté intrinsèque et de l’hétérogénéité des événements anormaux, cette tâche est traitée selon une stratégie de modélisation de la normalité, dans laquelle notre modèle apprend des motifs normaux centrés sur les objets sans avoir été exposé à des exemples anormaux durant l’apprentissage. Les principales contributions résident dans le couplage de prototypes d’actions au niveau des objets, pré-entraînés, avec une fonction d’estimation d’anomalie basée sur la distance cosinus, ce qui étend les méthodes précédentes en introduisant des contraintes supplémentaires dans la stratégie dominante fondée sur la reconstruction. Notre cadre exploite à la fois les informations d’apparence et de mouvement afin d’apprendre des comportements au niveau des objets et de capturer des motifs prototypiques au sein d’un module mémoire. Des expériences sur plusieurs jeux de données connus démontrent l’efficacité de notre méthode, qui surpassent l’état de l’art actuel sur la plupart des métriques spatio-temporelles pertinentes.