Pose for Everything: Auf dem Weg zu kategorieunabhängiger Pose-Schätzung

Bestehende Arbeiten zur 2D-Pose-Schätzung konzentrieren sich hauptsächlich auf eine bestimmte Kategorie, z.B. Menschen, Tiere und Fahrzeuge. Es gibt jedoch viele Anwendungsszenarien, die das Erkennen von Posen/Keypoints von unbekannten Objektklassen erfordern. In dieser Arbeit stellen wir die Aufgabe der kategorienübergreifenden Pose-Schätzung (Category-Agnostic Pose Estimation, CAPE) vor, die es zum Ziel hat, ein Pose-Schätzungsmodell zu entwickeln, das in der Lage ist, die Pose jeder Objektklasse anhand nur weniger Beispiele mit Keypoint-Definitionen zu erkennen. Um dieses Ziel zu erreichen, formulieren wir das Problem der Pose-Schätzung als ein Keypoint-Matching-Problem und entwerfen einen neuen CAPE-Rahmen, den POse Matching Network (POMNet). Ein transformerbasiertes Keypoint Interaction Module (KIM) wird vorgeschlagen, um sowohl die Interaktionen zwischen verschiedenen Keypoints als auch die Beziehung zwischen den Support- und Query-Bildern zu erfassen. Wir führen außerdem den Multi-Kategorie-Pose-Datensatz (MP-100) ein, der ein 2D-Pose-Datensatz von 100 Objektkategorien ist und über 20.000 Instanzen enthält und gut für die Entwicklung von CAPE-Algorithmen konzipiert wurde. Experimente zeigen, dass unsere Methode andere Baseline-Ansätze deutlich übertreffen kann. Der Code und die Daten sind unter https://github.com/luminxu/Pose-for-Everything verfügbar.