Neubewertung von Keypoint-Repräsentationen: Modellierung von Keypoints und Poses als Objekte für die Multi-Person-Human-Pose-Schätzung

Bei Aufgaben der Eckpunkt-Schätzung, wie der menschlichen Pose-Schätzung, ist die Heatmap-basierte Regression nach wie vor die dominierende Herangehensweise, obwohl sie erhebliche Nachteile aufweist: Heatmaps leiden inhärent unter Quantisierungsfehlern und erfordern einen erheblichen Rechenaufwand für ihre Generierung und Nachverarbeitung. Ausgehend von der Motivation, eine effizientere Lösung zu finden, schlagen wir vor, einzelne Eckpunkte sowie Mengen räumlich verbundener Eckpunkte (d. h. Poses) innerhalb eines dichten, einstufigen, anchor-basierten Detektionsrahmens als Objekte zu modellieren. Daher nennen wir unsere Methode KAPAO (ausgesprochen „Ka-Pow“), abgeleitet von „Keypoints And Poses As Objects“. KAPAO wird auf das Problem der einstufigen Mehrperson-Pose-Schätzung angewendet, indem sie gleichzeitig menschliche Poses und Eckpunkt-Objekte detektiert und die Detektionsergebnisse fusioniert, um die Stärken beider Objektdarstellungen zu nutzen. In Experimenten zeigen wir, dass KAPAO schneller und genauer ist als frühere Methoden, die stark unter der Nachverarbeitung von Heatmaps leiden. Das Verhältnis von Genauigkeit zu Geschwindigkeit ist insbesondere in praktischen Anwendungsszenarien ohne Test-Time-Augmentation besonders vorteilhaft. Quellcode: https://github.com/wmcnally/kapao.