HyperAIHyperAI

Command Palette

Search for a command to run...

HDBN: Ein neuartiges hybrides dualer-Zweig-Netzwerk für robuste aktionsbasierte Erkennung auf Basis von Skeletten

Jinfu Liu Baiqiao Yin Jiaying Lin Jiajun Wen Yue Li Mengyuan Liu

Zusammenfassung

Die aktionsbasierte Erkennung auf der Grundlage von Skeletten hat aufgrund der Nutzung kompakter und robuster skelettbasierter Darstellungen erhebliche Aufmerksamkeit erhalten. Dennoch neigen derzeitige Methoden dazu, eine einzelne Hauptarchitektur zur Modellierung der Skelettmodality zu verwenden, was durch inhärente Schwächen der Netzwerkgrundlage begrenzt sein kann. Um dieses Problem anzugehen und die komplementären Eigenschaften verschiedener Netzwerkarchitekturen vollständig auszunutzen, schlagen wir ein neuartiges Hybrid-Dual-Branch-Netzwerk (HDBN) für robuste, skelettbasierte Aktionserkennung vor, das von der Fähigkeit von Graph-Convolutional Networks (GCNs) profitiert, graphenstrukturierte Daten zu verarbeiten, sowie von den starken Modellierungskapazitäten von Transformers zur Erfassung globaler Informationen. Konkret ist unser vorgeschlagenes HDBN in zwei Hauptzweige unterteilt: MixGCN und MixFormer. Die beiden Zweige nutzen jeweils GCNs und Transformers, um sowohl 2D- als auch 3D-Skelettmodalitäten zu modellieren. Unser vorgeschlagenes HDBN erreichte in der Multi-Modal Video Reasoning and Analyzing Competition (MMVRAC) des ICME Grand Challenge 2024 eine der führenden Positionen und erzielte auf zwei Benchmarks des UAV-Human-Datensatzes Genauigkeiten von 47,95 % und 75,36 %, wobei es die meisten bestehenden Methoden übertraf. Der Quellcode wird öffentlich verfügbar sein unter: https://github.com/liujf69/ICMEW2024-Track10.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp