KTPFormer: Kinematik und Trajektorien-Vorkenntnisse erweiterte Transformer für die 3D-Pose-Schätzung von Menschen

Dieses Papier stellt einen neuen Kinematik- und Trajektorien-Vorkenntnis-verbesserten Transformer (KTPFormer) vor, der die Schwäche bestehender transformerbasierter Methoden zur 3D-Mensch-Pose-Schätzung überwindet, dass die Ableitung der Q, K, V-Vektoren in ihren Selbst-Aufmerksamkeitsmechanismen ausschließlich auf einfache lineare Abbildungen basiert. Wir schlagen zwei Vorkenntnis-Aufmerksamkeitsmodule vor, nämlich das Kinematik-Vorkenntnis-Aufmerksamkeitsmodul (KPA) und das Trajektorien-Vorkenntnis-Aufmerksamkeitsmodul (TPA), um von der bekannten anatomischen Struktur des menschlichen Körpers und den Bewegungstrajectorien zu profitieren. Dies soll effektives Lernen globaler Abhängigkeiten und Merkmale im Multi-Head-Selbst-Aufmerksamkeitsmechanismus erleichtern. Das KPA modelliert kinematische Beziehungen im menschlichen Körper durch die Konstruktion einer Kinematiktopologie, während das TPA eine Trajektorientopologie erstellt, um Informationen über die Gelenkbewegungstrajectorien zwischen Frames zu lernen. Durch die Erzeugung von Q, K, V-Vektoren mit Vorkenntnissen ermöglichen die beiden Module dem KTPFormer gleichzeitig räumliche und zeitliche Korrelationen zu modellieren. Ausführliche Experimente auf drei Benchmarks (Human3.6M, MPI-INF-3DHP und HumanEva) zeigen, dass der KTPFormer eine überlegene Leistung im Vergleich zu Stand-of-the-Art-Methoden erzielt. Von besonderer Bedeutung ist jedoch, dass unsere KPA- und TPA-Module leichtgewichtige Plug-and-Play-Designs haben und in verschiedene transformerbasierte Netzwerke (z.B., diffusion-basierte) integriert werden können, um die Leistung bei nur sehr geringem zusätzlichen Rechenaufwand zu verbessern. Der Code ist unter folgendem Link verfügbar: https://github.com/JihuaPeng/KTPFormer.