HyperAIHyperAI

Command Palette

Search for a command to run...

CrossFormer: Cross Spatio-Temporal Transformer für die 3D-Gestenerkennung

Mohammed Hassanin Abdelwahed Khamiss Mohammed Bennamoun Farid Boussaid Ibrahim Radwan

Zusammenfassung

Die 3D-Schätzung menschlicher Körperhaltung kann durch die Kodierung geometrischer Abhängigkeiten zwischen Körpersegmenten und die Einhaltung kinematischer Einschränkungen bewältigt werden. In jüngster Zeit wurde der Transformer zur Kodierung von Langstrecken-Abhängigkeiten zwischen Gelenken im räumlichen und zeitlichen Bereich eingesetzt. Obwohl sich diese Ansätze hinsichtlich Langstrecken-Abhängigkeiten als überlegen erwiesen haben, weisen zahlreiche Studien darauf hin, dass die Lokalität von Vision-Transformern verbessert werden muss. In dieser Richtung stellen wir einen neuartigen Pose-Estimation-Transformer vor, der über reichhaltige Darstellungen der Körpergelenke verfügt, die entscheidend für die Erfassung subtiler Veränderungen über Frames hinweg (d. h. inter-features-Abhängigkeiten) sind. Insbesondere kodiert das Modell durch zwei neuartige Interaktionsmodule – das Cross-Joint-Interaction- und das Cross-Frame-Interaction-Modul – explizit lokale und globale Abhängigkeiten zwischen den Gelenken. Die vorgeschlagene Architektur erreicht Spitzenleistung auf zwei etablierten Datensätzen für 3D-Menschenhaltungsschätzung, Human3.6 und MPI-INF-3DHP. Insbesondere verbessert unsere Methode, CrossFormer, die Leistung gegenüber dem nächsten Konkurrenten, PoseFormer, um 0,9 % bei Verwendung detektierter 2D-Posen und um 0,3 % im Szenario mit Ground-Truth-Daten.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp