Hierarchisches langes und kurzes Gedächtnis für die Anerkennung menschlicher Interaktionen

In dieser Arbeit adressieren wir das Problem der Erkennung menschlicher Interaktionen in Videos durch die Untersuchung der langfristigen, miteinander verbundenen Dynamiken zwischen mehreren Personen. Kürzlich wurde Long Short-Term Memory (LSTM) zu einer beliebten Wahl, um die individuelle Dynamik für die Aktionserkennung von Einzelpersonen zu modellieren, aufgrund seiner Fähigkeit, zeitliche Bewegungsinformationen in einem bestimmten Bereich zu erfassen. Bestehende Rekurrente Neuronale Netze (RNN) konzentrieren sich jedoch nur darauf, die Dynamik der menschlichen Interaktion durch einfache Kombination aller individuellen Dynamiken oder durch Modellierung als Ganzes zu erfassen. Solche Modelle vernachlässigen die miteinander verbundenen Dynamiken, wie sich menschliche Interaktionen im Laufe der Zeit ändern. Zu diesem Zweck schlagen wir ein neues hierarchisches Long Short-Term Concurrent Memory (H-LSTCM) vor, um die langfristigen, miteinander verbundenen Dynamiken innerhalb einer Gruppe von Personen zu modellieren und so die menschlichen Interaktionen zu erkennen. Speziell füttern wir zunächst die statischen Merkmale jeder Person in eine Single-Person LSTM, um die Einzelpersonendynamik zu lernen. Anschließend werden die Ausgaben aller Single-Person LSTM-Einheiten in eine neuartige Concurrent LSTM (Co-LSTM)-Einheit eingespeist, welche hauptsächlich aus mehreren Unter-Speicher-Einheiten, einem neuen Zellengatter und einer neuen Co-Memory-Zelle besteht. In einer Co-LSTM-Einheit speichert jede Unter-Speicher-Einheit individuelle Bewegungsinformationen, während diese Co-LSTM-Einheit selektiv über das Zellengatter und die Co-Memory-Zelle miteinander verbundene Bewegungsinformationen zwischen mehreren interagierenden Personen aus den verschiedenen Unter-Speicher-Einheiten integriert und speichert. Umfangreiche Experimente auf vier öffentlichen Datensätzen bestätigen die Effektivität des vorgeschlagenen H-LSTCM durch Vergleich mit Baseline- und Stand-of-the-Art-Methoden.