vor 2 Monaten

6-PACK: Kategorieniveau-6D-Pose-Tracker mit ankerbasierten Keypoints

Wang, Chen ; Martín-Martín, Roberto ; Xu, Danfei ; Lv, Jun ; Lu, Cewu ; Fei-Fei, Li ; Savarese, Silvio ; Zhu, Yuke

Abstract

Wir stellen 6-PACK vor, einen Ansatz des tiefen Lernens zur Kategorieniveau-6D-Objekt-Pose-Verfolgung auf RGB-D-Daten. Unsere Methode verfolgt in Echtzeit neue Objektinstanzen bekannter Objektkategorien wie Schalen, Laptops und Becher. 6-PACK lernt, ein Objekt durch eine kleine Anzahl von 3D-Schlüsselpunkten kompakt darzustellen, auf deren Basis die Bewegung zwischen den Bildern einer Objektinstanz durch Schlüsselpunkt-Matching geschätzt werden kann. Diese Schlüsselpunkte werden ohne manuelle Überwachung end-to-end gelernt, um die Verfolgung am effektivsten zu gestalten. Unsere Experimente zeigen, dass unsere Methode erheblich bessere Ergebnisse als bestehende Methoden auf dem NOCS-Benchmark für Kategorieniveau-6D-Pose-Schätzung erzielt und einen physischen Roboter unterstützt, einfache visionsgesteuerte Schleifenmanipulationssaufgaben auszuführen. Unser Code und Video sind unter https://sites.google.com/view/6packtracking verfügbar.