Einzelansicht-Schätzung der Roboterpose und Gelenkwinkel durch Rendern und Vergleichen

Wir stellen RoboPose vor, eine Methode zur Schätzung der Gelenkwinkel und der 6D-Kamera-zu-Roboter-Pose eines bekannten Gliedroboters aus einem einzelnen RGB-Bild. Dies ist ein wichtiges Problem, um mobilen und itineranten autonomen Systemen die Fähigkeit zu verleihen, mit anderen Robotern nur unter Verwendung visueller Informationen in nicht instrumentierten Umgebungen zu interagieren, insbesondere im Kontext der kollaborativen Robotik. Es ist auch herausfordernd, da Roboter viele Freiheitsgrade aufweisen und einen unendlichen Raum möglicher Konfigurationen haben, die bei der Aufnahme durch eine einzelne Kamera oft zu Selbstverdeckungen und Tiefenunsicherheiten führen. Die Beiträge dieser Arbeit sind dreifach. Erstens führen wir einen neuen Ansatz „rendern & vergleichen“ ein, mit dem die 6D-Pose und die Gelenkwinkel eines Gliedroboters geschätzt werden können. Dieser Ansatz kann von synthetischen Daten trainiert werden, verallgemeinert sich auf neue unbekannte Roboterkonfigurationen zur Testzeit und kann auf verschiedene Roboter angewendet werden. Zweitens demonstrieren wir experimentell die Bedeutung der Roboterparametrisierung für die iterativen Poseaktualisierungen und entwickeln eine Parametrisierungsstrategie, die unabhängig von der Roboterstruktur ist. Schließlich zeigen wir experimentelle Ergebnisse an bestehenden Benchmark-Datensätzen für vier verschiedene Roboter und beweisen, dass unsere Methode den aktuellen Stand der Technik erheblich übertrifft. Der Quellcode und vortrainierte Modelle sind auf der Projektwebseite https://www.di.ens.fr/willow/research/robopose/ verfügbar.