HDBN: Ein neuartiges hybrides dualer-Zweig-Netzwerk für robuste aktionsbasierte Erkennung auf Basis von Skeletten

Die aktionsbasierte Erkennung auf der Grundlage von Skeletten hat aufgrund der Nutzung kompakter und robuster skelettbasierter Darstellungen erhebliche Aufmerksamkeit erhalten. Dennoch neigen derzeitige Methoden dazu, eine einzelne Hauptarchitektur zur Modellierung der Skelettmodality zu verwenden, was durch inhärente Schwächen der Netzwerkgrundlage begrenzt sein kann. Um dieses Problem anzugehen und die komplementären Eigenschaften verschiedener Netzwerkarchitekturen vollständig auszunutzen, schlagen wir ein neuartiges Hybrid-Dual-Branch-Netzwerk (HDBN) für robuste, skelettbasierte Aktionserkennung vor, das von der Fähigkeit von Graph-Convolutional Networks (GCNs) profitiert, graphenstrukturierte Daten zu verarbeiten, sowie von den starken Modellierungskapazitäten von Transformers zur Erfassung globaler Informationen. Konkret ist unser vorgeschlagenes HDBN in zwei Hauptzweige unterteilt: MixGCN und MixFormer. Die beiden Zweige nutzen jeweils GCNs und Transformers, um sowohl 2D- als auch 3D-Skelettmodalitäten zu modellieren. Unser vorgeschlagenes HDBN erreichte in der Multi-Modal Video Reasoning and Analyzing Competition (MMVRAC) des ICME Grand Challenge 2024 eine der führenden Positionen und erzielte auf zwei Benchmarks des UAV-Human-Datensatzes Genauigkeiten von 47,95 % und 75,36 %, wobei es die meisten bestehenden Methoden übertraf. Der Quellcode wird öffentlich verfügbar sein unter: https://github.com/liujf69/ICMEW2024-Track10.