StarMap für kategorieagnostische Keypoint- und Viewpunktschätzung

Semantische Keypoints bieten prägnante Abstraktionen für eine Vielzahl von visuellen Verständnis-Aufgaben. Bestehende Methoden definieren semantische Keypoints für jede Kategorie getrennt mit einer festen Anzahl von semantischen Labels in festen Indizes. Als Ergebnis ist diese Keypoint-Darstellung nicht praktikabel, wenn Objekte eine variable Anzahl von Teilen aufweisen, z.B. Stühle mit unterschiedlich vielen Beinen. Wir schlagen eine kategorienübergreifende Keypoint-Darstellung vor, die ein Mehrspitzen-Hitmap (StarMap) für alle Keypoints und deren entsprechende Features als 3D-Positionen in der kanonischen Ansicht (CanViewFeature) kombiniert, die für jedes Individuum definiert sind. Unsere Intuition ist, dass die 3D-Positionen der Keypoints in den kanonischen Objektansichten reichhaltige semantische und strukturelle Informationen enthalten. Mit unserer flexiblen Darstellung zeigen wir wettbewerbsfähige Leistungen bei der Keypoint-Erkennung und -Lokalisierung im Vergleich zu kategorie-spezifischen Stand-of-the-Art-Methoden. Darüber hinaus demonstrieren wir, dass unsere Darstellung durch Hinzufügen eines zusätzlichen Tiefenkanals (DepthMap), um die 2D-Keypoints in 3D zu transformieren, Stand-of-the-Art-Ergebnisse bei der Ansichtswinkelschätzung erzielen kann. Schließlich zeigen wir, dass unsere kategorienübergreifende Keypoint-Darstellung auf neue Kategorien verallgemeinert werden kann.