Konkurrenzbewusste Langzeit-Kurzzeit-Untergebäude für die Erkennung von Person-Person-Handlungen

Kürzlich hat sich Long Short-Term Memory (LSTM) als beliebte Wahl zur Modellierung individueller Dynamiken für die Aktionserkennung von Einzelpersonen durchgesetzt, aufgrund seiner Fähigkeit, zeitliche Informationen in verschiedenen dynamischen Kontexten zu modellieren. Bestehende Rekurrente Neuronale Netze (RNN) konzentrieren sich jedoch nur auf das Erfassen der zeitlichen Dynamiken zwischen Personeninteraktionen, indem sie die Aktivitätsdynamiken von Individuen naiv kombinieren oder als Ganzes modellieren. Dies vernachlässigt die miteinander verbundenen Dynamiken, wie sich Personeninteraktionen im Laufe der Zeit ändern. Aus diesem Grund schlagen wir ein neues Concurrence-Aware Long Short-Term Sub-Memories (Co-LSTSM) Modell vor, um die langfristigen miteinander verbundenen Dynamiken zwischen zwei interagierenden Personen in den um diese Personen erstreckenden Bounding Boxes zu modellieren. Speziell speichern für jeden Frame zwei Sub-Memory-Units individuelle Bewegungsinformationen, während eine parallele LSTM-Unit selektiv und speichert miteinander verbundene Bewegungsinformationen zwischen interagierenden Personen aus diesen beiden Sub-Memory-Units über eine neue Co-Memory-Zelle. Experimentelle Ergebnisse auf den BIT und UT Datensätzen zeigen die Überlegenheit des Co-LSTSM im Vergleich zu den bislang besten Methoden.