Markerlose Kamera-Roboter-Pose-Schätzung durch selbstüberwachten Sim-to-Real-Transfer

Die Lösung der Kamera-Roboter-Pose ist eine grundlegende Anforderung für die visuelle Robotersteuerung und ein Prozess, der erhebliche Anstrengungen und Sorgfalt erfordert, um genaue Ergebnisse zu erzielen. Traditionelle Ansätze bedingen eine Modifikation des Roboters durch Marker, während nachfolgende Deep-Learning-Ansätze die markerlose Merkmalsextraktion ermöglichten. Gängige Deep-Learning-Methoden verwenden ausschließlich synthetische Daten und stützen sich auf Domain Randomization, um den Sim-to-Real-Gap zu überbrücken, da das Erhalten von 3D-Annotationen arbeitsintensiv ist. In dieser Arbeit gehen wir über die Beschränkungen von 3D-Annotationen für reale Daten hinaus. Wir schlagen einen end-to-end-Pose-Schätzungsrahmen vor, der in der Lage ist, Online-Kalibrierung von Kamera zu Roboter durchzuführen, sowie eine selbstüberwachte Trainingsmethode, um das Training auf nicht gekennzeichnete reale Daten zu skalieren. Unser Rahmen kombiniert Deep Learning und geometrische Vision zur Lösung der Roboterpose, wobei der Pipeline vollständig differenzierbar ist. Um das Camera-to-Robot Pose Estimation Network (CtRNet) zu trainieren, nutzen wir Vordergrundsegmentierung und differenzierbares Rendering für die bildbasierte Selbstüberwachung. Die Pose-Vorhersage wird durch einen Renderer visualisiert und der Bildverlust mit dem Eingangsbild wird zurückpropagiert, um das neuronale Netzwerk zu trainieren. Unsere experimentellen Ergebnisse anhand zweier öffentlicher realer Datensätze bestätigen die Effektivität unseres Ansatzes im Vergleich zu bestehenden Arbeiten. Zudem integrieren wir unseren Rahmen in ein visuelles Servoing-System, um das Potential der Echtzeit-präzisen Roboterpose-Schätzung für Automatisierungsaufgaben zu demonstrieren.