Echtzeit-holistische Roboter-Pose-Schätzung mit unbekannten Zuständen

Die Schätzung der Roboterpose aus RGB-Bildern ist ein entscheidendes Problem in der Computer Vision und Robotik. Obwohl frühere Methoden vielversprechende Ergebnisse erzielt haben, gehen die meisten davon aus, dass das vollständige Wissen über den internen Zustand des Roboters vorhanden ist, z.B. die exakten Gelenkwinkel (ground-truth robot joint angles). Diese Annahme trifft jedoch in praktischen Situationen nicht immer zu. In realen Anwendungen wie der Zusammenarbeit mehrerer Roboter oder der Interaktion zwischen Mensch und Roboter können die Gelenkzustände des Roboters nicht geteilt werden oder unzuverlässig sein. Andererseits leiden bestehende Ansätze, die die Roboterpose ohne vorherige Kenntnis der Gelenkzustände schätzen, unter hohen Rechenlasten und können daher keine Echtzeitanwendungen unterstützen. Diese Arbeit stellt einen effizienten Rahmen für die Echtzeit-Schätzung der Roboterpose aus RGB-Bildern vor, ohne bekannte Roboterzustände zu benötigen. Unsere Methode schätzt die Drehung von Kamera zu Roboter, die Roboterzustandsparameter, die Keypoint-Lokationen und die Tiefe des Wurzelpunkts. Dabei wird für jede Aufgabe ein neuronales Netzwerkmodul eingesetzt, um das Lernen und den Transfer von Simulation zur Realität zu erleichtern. Bemerkenswert ist, dass sie eine Inferenz in einem einzigen Vorwärtsdurchgang ohne iterative Optimierung ermöglicht. Unser Ansatz bietet eine 12-fache Geschwindigkeitssteigerung bei Stand-der-Technik-Genauigkeit und ermöglicht zum ersten Mal eine Echtzeit-Holistic-Roboterpose-Schätzung. Der Quellcode und die Modelle sind unter https://github.com/Oliverbansk/Holistic-Robot-Pose-Estimation verfügbar.