TFPose: Direkte Schätzung menschlicher Pose mit Transformers

Wir schlagen einen Rahmen für die menschliche Pose-Schätzung vor, der die Aufgabe im regressionsbasierten Ansatz löst. Im Gegensatz zu früheren regressionsbasierten Methoden, die oft hinter den state-of-the-art-Verfahren zurückbleiben, formulieren wir die Pose-Schätzungsaufgabe als ein Sequenzvorhersageproblem, das effizient durch Transformer gelöst werden kann. Unser Rahmen ist einfach und direkt und umgeht die Nachteile der auf Heatmaps basierenden Pose-Schätzung. Darüber hinaus ermöglicht die Aufmerksamkeitsmechanik in Transformer, dass unser vorgeschlagener Ansatz adaptiv diejenigen Merkmale priorisiert, die für die Zielknotenpunkte am relevantesten sind. Dadurch wird das Problem der Merkmalsmismatchierung, das bei früheren regressionsbasierten Methoden auftritt, erheblich reduziert, und die Leistung wird deutlich verbessert. Wichtig ist außerdem, dass unser Rahmen die strukturierten Beziehungen zwischen Knotenpunkten inhärent nutzen kann. Experimente auf den Datensätzen MS-COCO und MPII zeigen, dass unsere Methode die state-of-the-art-Leistung bei regressionsbasierten Pose-Schätzungen erheblich verbessert und mit den besten auf Heatmaps basierenden Methoden vergleichbare Ergebnisse erzielt.