HyperAIHyperAI

Command Palette

Search for a command to run...

B2C-AFM: Bi-Directional Co-Temporal and Cross-Spatial Attention Fusion Model für die Menschliche Aktionserkennung

and Jiakai Zhu Wei Song Qiwei Meng Wen Wang Xiangming Xi Shiqiang Zhu Tianlei Jin Fangtai Guo

Zusammenfassung

Die Erkennung menschlicher Aktionen stellt eine treibende Kraft vieler Anwendungen im Bereich der Mensch-Computer-Interaktion dar. Die meisten aktuellen Forschungsarbeiten konzentrieren sich darauf, die Generalisierbarkeit von Modellen durch die Integration mehrerer homogener Modalitäten zu verbessern, darunter RGB-Bilder, menschliche Pose und optische Flüsse. Zudem wurde bestätigt, dass kontextuelle Interaktionen sowie kontextunabhängige Gebärdensprachen von der Szenenkategorie und dem Menschen selbst abhängen. Versuche, Erscheinungsbilder und menschliche Poses zu integrieren, haben bereits positive Ergebnisse erzielt. Allerdings leiden bestehende Methoden aufgrund von räumlichen Fehlern in den menschlichen Poses und zeitlichen Ambiguitäten unter geringer Skalierbarkeit, begrenzter Robustheit und suboptimalen Modellen. In dieser Arbeit, inspiriert von der Annahme, dass verschiedene Modalitäten zeitliche Konsistenz und räumliche Ergänzung aufweisen können, präsentieren wir ein neuartiges bidirektionales, ko-temporales und kreuzräumliches Aufmerksamkeits-Fusionsmodell (B2C-AFM). Unser Modell zeichnet sich durch eine asynchrone Fusionsstrategie mehrerer Modalitäten entlang zeitlicher und räumlicher Dimensionen aus. Darüber hinaus werden neuartige, explizite, bewegungsorientierte Pose-Repräsentationen, sogenannte „Limb Flow Fields“ (Lff), eingeführt, um die zeitliche Ambiguität bezüglich menschlicher Poses zu verringern. Experimente auf öffentlich verfügbaren Datensätzen bestätigen unsere Beiträge. Umfangreiche Ablationsstudien zeigen experimentell, dass B2C-AFM robuste Leistung sowohl bei bekannten als auch bei unbekannten menschlichen Aktionen erzielt. Der Quellcode ist unter https://github.com/gftww/B2C.git verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp