Zu einer hohen Leistungsfähigkeit bei der menschlichen Gelenkpunktdetektion

Die Detektion menschlicher Körperpunkte aus einer einzigen Bildaufnahme ist aufgrund von Verdeckung, Unschärfe, Lichtverhältnissen und Skalenvarianz äußerst herausfordernd. In diesem Paper greifen wir dieses Problem aus drei Perspektiven an, indem wir eine effiziente Netzwerkarchitektur entwerfen, drei wirksame Trainingsstrategien vorschlagen und vier nützliche Nachbearbeitungstechniken nutzen. Zunächst stellen wir fest, dass Kontextinformationen eine entscheidende Rolle bei der Schlussfolgerung über die menschliche Körperkonfiguration und unsichtbare Körperpunkte spielen. Darauf aufbauend entwickeln wir einen kaskadierten Kontext-Mixer (CCM), der räumliche und kanalbasierte Kontextinformationen effizient integriert und diese schrittweise verfeinert. Um die Repräsentationsfähigkeit des CCM maximal auszuschöpfen, entwickeln wir eine Strategie zur Identifikation schwerer negativer Personen im Training sowie eine Joint-Training-Strategie, die umfangreiche, nicht gelabelte Daten nutzt. Dadurch kann der CCM diskriminative Merkmale aus einer großen Vielzahl unterschiedlicher Körperhaltungen lernen. Drittens präsentieren wir mehrere Subpixel-Verfeinerungstechniken zur Nachbearbeitung der Körperpunktvorhersagen, um die Detektionsgenauigkeit zu steigern. Umfangreiche Experimente auf der MS COCO-Keypoint-Detektions-Benchmark belegen die Überlegenheit des vorgeschlagenen Ansatzes gegenüber etablierten State-of-the-Art-(SOTA)-Methoden. Unser einzelnes Modell erreicht eine Leistung, die der des Siegers des COCO Keypoint Detection Challenge 2018 entspricht. Das endgültige Ensemblesystem erreicht eine neue SOTA-Leistung auf dieser Benchmark.