HyperAIHyperAI
vor 2 Monaten

Selbstbeschränkte Inferenzoptimierung auf strukturellen Gruppen für die Schätzungen der menschlichen Pose

Kan, Zhehan ; Chen, Shuoshuo ; Li, Zeng ; He, Zhihai
Selbstbeschränkte Inferenzoptimierung auf strukturellen Gruppen für die Schätzungen der menschlichen Pose
Abstract

Wir beobachten, dass menschliche Körperhaltungen starke gruppenweise strukturelle Korrelationen und räumliche Kopplungen zwischen den Schlüsselpunkten aufweisen, die durch die biologischen Einschränkungen verschiedener Körperteile bedingt sind. Diese gruppenweise strukturelle Korrelation kann genutzt werden, um die Genauigkeit und Robustheit der Schätzungen von menschlichen Körperhaltungen zu verbessern. In dieser Arbeit entwickeln wir ein selbstbeschränktes Vorhersage-Verifikationsnetzwerk, das während des Trainings die strukturelle Korrelation zwischen den Schlüsselpunkten charakterisiert und lernt. Während der Inferenzphase ermöglicht uns die Rückmeldungsinformation aus dem Verifikationsnetzwerk eine weitere Optimierung der Pose-Vorhersage, was die Leistungsfähigkeit der Schätzung von menschlichen Körperhaltungen erheblich steigert.Speziell gliedern wir die Schlüsselpunkte nach der biologischen Struktur des menschlichen Körpers in Gruppen ein. Innerhalb jeder Gruppe werden die Schlüsselpunkte in zwei Teilmengen unterteilt: hochvertrauenswürdige Basis-Schlüsselpunkte und niedrigvertrauenswürdige Terminal-Schlüsselpunkte. Wir entwickeln ein selbstbeschränktes Vorhersage-Verifikationsnetzwerk, das Vorwärts- und Rückwärtsvorhersagen zwischen diesen Teilmengen von Schlüsselpunkten durchführt. Eine grundlegende Herausforderung bei der Pose-Schätzung sowie bei generischen Vorhersageaufgaben besteht darin, dass es kein Mechanismus gibt, mit dem wir überprüfen können, ob die erhaltenen Ergebnisse der Pose-Schätzung oder Vorhersage korrekt sind oder nicht, da das Ground Truth nicht verfügbar ist. Sobald erfolgreich gelernt, dient das Verifikationsnetzwerk als Modul zur Genauigkeitsverifizierung für die vorwärts gerichtete Pose-Vorhersage. Während der Inferenzphase kann es verwendet werden, um die lokale Optimierung der Pose-Schätzungsresultate für niedrigvertrauenswürdige Terminal-Schlüsselpunkte unter Verwendung des selbstbeschränkten Verlusts an hochvertrauenswürdigen Basis-Schlüsselpunkten als Zielfunktion zu leiten.Unsere umfangreichen experimentellen Ergebnisse auf den Benchmarks MS COCO und CrowdPose zeigen, dass das vorgeschlagene Verfahren die Ergebnisse der Pose-Schätzung erheblich verbessern kann.