Mémoire hiérarchique à court et long terme pour la reconnaissance des interactions humaines

Dans cet article, nous visons à aborder le problème de la reconnaissance des interactions humaines dans les vidéos en explorant les dynamiques inter-reliées à long terme entre plusieurs personnes. Récemment, les réseaux de neurones à mémoire à court et long terme (LSTM) sont devenus une option populaire pour modéliser la dynamique individuelle dans la reconnaissance d'actions impliquant une seule personne, grâce à leur capacité à capturer l'information de mouvement temporelle sur une plage donnée. Cependant, les modèles RNN existants se concentrent uniquement sur la capture des dynamiques des interactions humaines en combinant simplement toutes les dynamiques individuelles ou en les modélisant comme un tout. Ces modèles négligent les dynamiques inter-reliées qui décrivent comment les interactions humaines évoluent au fil du temps. A cette fin, nous proposons une nouvelle architecture de mémoire concurrente hiérarchique à court et long terme (H-LSTCM) pour modéliser les dynamiques inter-reliées à long terme au sein d'un groupe de personnes afin de reconnaître leurs interactions. Plus précisément, nous alimentons d'abord les caractéristiques statiques de chaque personne dans un LSTM individuel pour apprendre la dynamique individuelle. Ensuite, les sorties de tous les modules LSTM individuels sont intégrées dans une unité LSTM concurrente (Co-LSTM) innovante, qui comprend principalement plusieurs sous-unités mémoire, une nouvelle porte cellulaire et une nouvelle cellule co-mémoire. Dans une unité Co-LSTM, chaque sous-unité mémoire stocke l'information de mouvement individuelle, tandis que cette unité Co-LSTM intègre et stocke sélectivement l'information de mouvement inter-reliée entre plusieurs personnes interactives provenant de plusieurs sous-unités mémoire par l'intermédiaire de la porte cellulaire et de la cellule co-mémoire respectivement. Des expériences approfondies sur quatre jeux de données publics valident l'efficacité du H-LSTCM proposé en le comparant aux méthodes baselines et aux méthodes d'avant-garde.Note: The term "Concurrent Memory" is not a standard French term in the field of deep learning or neural networks. I have translated it as "mémoire concurrente" to maintain the meaning and structure of the original text while ensuring readability in French. If there is a specific French term that should be used instead, please let me know and I can adjust the translation accordingly.