Interaktionsbeziehungsnetzwerk für gegenseitige Aktionserkennung

Die Erkennung gegenseitiger Handlungen zwischen Personen (auch als Interaktionserkennung bezeichnet) ist ein wichtiger Forschungsast der Analyse menschlicher Aktivitäten. Die aktuellen Lösungen in diesem Bereich – hauptsächlich von CNNs, GCNs und LSTMs dominiert – bestehen oft aus komplizierten Architekturen und Mechanismen, um die Beziehungen zwischen den beiden Personen direkt in die Architektur einzubetten, um sicherzustellen, dass die Interaktionsmuster angemessen gelernt werden können. Unser Hauptbeitrag mit dieser Arbeit besteht darin, eine einfachere, aber sehr leistungsfähige Architektur vorzuschlagen, die Interaction Relational Network (IRN), welche minimales Vorwissen über die Struktur des menschlichen Körpers nutzt. Wir führen das Netzwerk dazu an, selbstständig zu identifizieren, wie es die Körperteile der interagierenden Individuen miteinander in Beziehung setzen kann. Um die Interaktion besser darzustellen, definieren wir zwei verschiedene Beziehungen, was zu spezialisierten Architekturen und Modellen für jede führt. Diese mehreren Beziehungsmodelle werden dann in eine einzelne und spezielle Architektur fusioniert, um beide Informationsströme zur weiteren Verbesserung der relationalen Schließfähigkeit zu nutzen. Darüber hinaus definieren wir wichtige strukturierte paarweise Operationen, um zusätzliche sinnvolle Informationen aus jedem Paar von Gelenken – Abstand und Bewegung – zu extrahieren. Letztendlich ist unser IRN durch die Koppelung eines LSTMs in der Lage, hochwertiges sequentielles relationales Schließen durchzuführen. Diese wichtigen Erweiterungen, die wir unserem Netzwerk vorgenommen haben, können auch für andere Probleme wertvoll sein, die fortschrittliches relationales Schließen erfordern. Unsere Lösung erreicht Stand-of-the-Art-Leistungen auf den traditionellen Interaktionserkennungsdatensätzen SBU und UT sowie auf den gegenseitigen Handlungen des großen Datensatzes NTU RGB+D. Zudem erzielt sie wettbewerbsfähige Leistungen im Interaktionsteil des NTU RGB+D 120-Datensatzes.