Mémoires à court et long terme sensibles à la concurrence pour la reconnaissance d'actions entre personnes

Récemment, les réseaux de neurones à mémoire à court et long terme (LSTM) sont devenus une option populaire pour modéliser la dynamique individuelle dans le cadre de la reconnaissance d'actions impliquant une seule personne, en raison de leur capacité à modéliser l'information temporelle dans divers contextes dynamiques. Cependant, les modèles RNN existants se concentrent uniquement sur la capture des dynamiques temporelles des interactions personne-personne en combinant naïvement les dynamiques d'activité individuelles ou en les modélisant comme un tout. Cette approche néglige les dynamiques interdépendantes qui décrivent comment ces interactions évoluent au fil du temps. A cet égard, nous proposons un nouveau modèle de sous-mémoires à court et long terme conscientes de la concurrence (Co-LSTSM) pour modéliser les dynamiques interdépendantes à long terme entre deux personnes interactives, en utilisant des boîtes englobantes couvrant ces personnes. Plus précisément, pour chaque image, deux unités de sous-mémoire stockent les informations de mouvement individuelles, tandis qu'une unité LSTM concurrente intègre et stocke sélectivement les informations de mouvement interdépendantes entre les personnes interactives provenant de ces deux unités de sous-mémoire via une nouvelle cellule co-mémoire. Les résultats expérimentaux sur les jeux de données BIT et UT montrent la supériorité du Co-LSTSM par rapport aux méthodes actuelles de pointe.