HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchisches langes und kurzes Gedächtnis für die Anerkennung menschlicher Interaktionen

Xiangbo Shu Jinhui Tang Guo-Jun Qi Wei Liu Jian Yang

Zusammenfassung

In dieser Arbeit adressieren wir das Problem der Erkennung menschlicher Interaktionen in Videos durch die Untersuchung der langfristigen, miteinander verbundenen Dynamiken zwischen mehreren Personen. Kürzlich wurde Long Short-Term Memory (LSTM) zu einer beliebten Wahl, um die individuelle Dynamik für die Aktionserkennung von Einzelpersonen zu modellieren, aufgrund seiner Fähigkeit, zeitliche Bewegungsinformationen in einem bestimmten Bereich zu erfassen. Bestehende Rekurrente Neuronale Netze (RNN) konzentrieren sich jedoch nur darauf, die Dynamik der menschlichen Interaktion durch einfache Kombination aller individuellen Dynamiken oder durch Modellierung als Ganzes zu erfassen. Solche Modelle vernachlässigen die miteinander verbundenen Dynamiken, wie sich menschliche Interaktionen im Laufe der Zeit ändern. Zu diesem Zweck schlagen wir ein neues hierarchisches Long Short-Term Concurrent Memory (H-LSTCM) vor, um die langfristigen, miteinander verbundenen Dynamiken innerhalb einer Gruppe von Personen zu modellieren und so die menschlichen Interaktionen zu erkennen. Speziell füttern wir zunächst die statischen Merkmale jeder Person in eine Single-Person LSTM, um die Einzelpersonendynamik zu lernen. Anschließend werden die Ausgaben aller Single-Person LSTM-Einheiten in eine neuartige Concurrent LSTM (Co-LSTM)-Einheit eingespeist, welche hauptsächlich aus mehreren Unter-Speicher-Einheiten, einem neuen Zellengatter und einer neuen Co-Memory-Zelle besteht. In einer Co-LSTM-Einheit speichert jede Unter-Speicher-Einheit individuelle Bewegungsinformationen, während diese Co-LSTM-Einheit selektiv über das Zellengatter und die Co-Memory-Zelle miteinander verbundene Bewegungsinformationen zwischen mehreren interagierenden Personen aus den verschiedenen Unter-Speicher-Einheiten integriert und speichert. Umfangreiche Experimente auf vier öffentlichen Datensätzen bestätigen die Effektivität des vorgeschlagenen H-LSTCM durch Vergleich mit Baseline- und Stand-of-the-Art-Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Hierarchisches langes und kurzes Gedächtnis für die Anerkennung menschlicher Interaktionen | Paper | HyperAI