YOLO-Pose: Verbesserung von YOLO für die Mehrpersonen-Pose-Schätzung durch Verwendung des Objekt-Keypoint-ähnlichkeitsverlusts

Wir stellen YOLO-Pose vor, einen neuen Ansatz ohne Heatmap für die gemeinsame Erkennung und die 2D-Mehrpersonen-Pose-Schätzung in einem Bild basierend auf dem bekannten YOLO-Objekterkennungsrahmen. Bestehende heatmapbasierte Zweistufenansätze sind suboptimal, da sie nicht von Anfang bis Ende trainierbar sind und das Training auf einem Surrogat-L1-Verlust basiert, der nicht äquivalent zum Maximieren des Evaluationsmetrik ist, nämlich der Object Keypoint Similarity (OKS). Unser Rahmen ermöglicht es uns, das Modell von Anfang bis Ende zu trainieren und direkt die OKS-Metrik zu optimieren. Das vorgeschlagene Modell lernt in einer einzigen Vorwärtsdurchlauf die Begrenzungsboxen für mehrere Personen und deren entsprechende 2D-Posen gleichzeitig zu erkennen, wodurch es die Vorteile sowohl der top-down- als auch der bottom-up-Ansätze vereint. Im Gegensatz zu top-down-Ansätzen werden mehrere Vorwärtsdurchläufe vermieden, da alle Personen zusammen mit ihrer Pose in einer einzelnen Inferenz lokalisiert werden. YOLO-Pose erzielt neue Standesbestleistungen auf dem COCO-Validierungsdatensatz (90,2 % AP50) und dem test-dev-Datensatz (90,3 % AP50), indem es alle existierenden bottom-up-Ansätze in einer einzigen Vorwärtsdurchlauf ohne Flip-Test, Multi-Skalentest oder andere Testzeit-Augmentierungen übertrifft. Alle Experimente und Ergebnisse in dieser Arbeit wurden ohne jede Testzeit-Augmentierung durchgeführt, im Gegensatz zu traditionellen Ansätzen, die Flip-Tests und Multi-Skalentests verwenden, um die Leistung zu verbessern. Unser Trainingscode wird öffentlich zur Verfügung gestellt unter https://github.com/TexasInstruments/edgeai-yolov5 und https://github.com/TexasInstruments/edgeai-yolox.