BundleTrack: 6D-Pose-Tracking für neue Objekte ohne instanzspezifische oder kategoriebasierte 3D-Modelle

Die Verfolgung der 6D-Pose von Objekten in Videosequenzen ist für die Roboter-Manipulation von großer Bedeutung. Die meisten bisherigen Ansätze gehen jedoch oft davon aus, dass das CAD-Modell des Zielobjekts, zumindest auf Kategorieebene, für die Offline-Trainingsphase oder während des Online-Vorlagens-Matchings verfügbar ist. Diese Arbeit schlägt BundleTrack vor, einen allgemeinen Rahmen für die 6D-Pose-Verfolgung neuer Objekte, der weder auf Instanz- noch auf Kategorieebene von 3D-Modellen abhängt. Es nutzt die ergänzenden Eigenschaften jüngerer Fortschritte im Bereich des tiefen Lernens zur Segmentierung und robusten Merkmalsextraktion sowie der optimierten Pose-Graphen mit Speicherunterstützung zur räumlich-zeitlichen Konsistenz. Dies ermöglicht eine langfristige, driftarme Verfolgung unter verschiedenen herausfordernden Szenarien, einschließlich erheblicher Verdeckungen und Objektbewegungen. Umfassende Experimente anhand zweier öffentlicher Benchmarks zeigen, dass der vorgeschlagene Ansatz den Stand der Technik bei kategorienbasierter 6D-Verfolgung oder dynamischer SLAM-Methoden deutlich übertrifft. Im Vergleich zu Stand-of-the-Art-Methoden, die ein CAD-Modell einer Objektinstanz verwenden, wird vergleichbare Leistung erzielt, obwohl das vorgeschlagene Verfahren weniger Informationsanforderungen stellt. Eine effiziente Implementierung in CUDA gewährleistet eine Echtzeit-Leistung von 10 Hz für das gesamte Framework. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/wenbowen123/BundleTrack