HyperAIHyperAI

Command Palette

Search for a command to run...

KTPFormer: Kinematik und Trajektorien-Vorkenntnisse erweiterte Transformer für die 3D-Pose-Schätzung von Menschen

Jihua Peng Yanghong Zhou P. Y. Mok

Zusammenfassung

Dieses Papier stellt einen neuen Kinematik- und Trajektorien-Vorkenntnis-verbesserten Transformer (KTPFormer) vor, der die Schwäche bestehender transformerbasierter Methoden zur 3D-Mensch-Pose-Schätzung überwindet, dass die Ableitung der Q, K, V-Vektoren in ihren Selbst-Aufmerksamkeitsmechanismen ausschließlich auf einfache lineare Abbildungen basiert. Wir schlagen zwei Vorkenntnis-Aufmerksamkeitsmodule vor, nämlich das Kinematik-Vorkenntnis-Aufmerksamkeitsmodul (KPA) und das Trajektorien-Vorkenntnis-Aufmerksamkeitsmodul (TPA), um von der bekannten anatomischen Struktur des menschlichen Körpers und den Bewegungstrajectorien zu profitieren. Dies soll effektives Lernen globaler Abhängigkeiten und Merkmale im Multi-Head-Selbst-Aufmerksamkeitsmechanismus erleichtern. Das KPA modelliert kinematische Beziehungen im menschlichen Körper durch die Konstruktion einer Kinematiktopologie, während das TPA eine Trajektorientopologie erstellt, um Informationen über die Gelenkbewegungstrajectorien zwischen Frames zu lernen. Durch die Erzeugung von Q, K, V-Vektoren mit Vorkenntnissen ermöglichen die beiden Module dem KTPFormer gleichzeitig räumliche und zeitliche Korrelationen zu modellieren. Ausführliche Experimente auf drei Benchmarks (Human3.6M, MPI-INF-3DHP und HumanEva) zeigen, dass der KTPFormer eine überlegene Leistung im Vergleich zu Stand-of-the-Art-Methoden erzielt. Von besonderer Bedeutung ist jedoch, dass unsere KPA- und TPA-Module leichtgewichtige Plug-and-Play-Designs haben und in verschiedene transformerbasierte Netzwerke (z.B., diffusion-basierte) integriert werden können, um die Leistung bei nur sehr geringem zusätzlichen Rechenaufwand zu verbessern. Der Code ist unter folgendem Link verfügbar: https://github.com/JihuaPeng/KTPFormer.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp