BundleTrack : Suivi de la pose 6D pour des objets inédits sans modèles 3D au niveau des instances ou des catégories

Le suivi de la pose 6D des objets dans les séquences vidéo est crucial pour la manipulation robotique. La plupart des travaux antérieurs supposent cependant souvent que le modèle CAD de l'objet cible, au moins au niveau catégoriel, est disponible pour une formation hors ligne ou lors d'un appariement de modèles en ligne. Cette étude propose BundleTrack, un cadre général pour le suivi de la pose 6D d'objets inédits, qui ne dépend pas de modèles 3D, ni au niveau individuel ni catégoriel. Il exploite les attributs complémentaires des récentes avancées en apprentissage profond pour la segmentation et l'extraction robuste de caractéristiques, ainsi que l'optimisation de graphes de pose augmentés par la mémoire pour assurer une cohérence spatio-temporelle. Cela permet un suivi à long terme avec un faible décalage sous divers scénarios difficiles, y compris en présence d'occlusions importantes et de mouvements d'objets complexes. Des expériences exhaustives menées sur deux benchmarks publics montrent que l'approche proposée surpasse significativement les méthodes actuelles de suivi 6D au niveau catégoriel ou de SLAM dynamique. Lorsqu'elle est comparée aux méthodes les plus avancées qui s'appuient sur un modèle CAD d'une instance d'objet, elle atteint des performances comparables malgré ses exigences réduites en termes d'information. Une implémentation efficace en CUDA offre une performance temps réel de 10 Hz pour l'ensemble du cadre. Le code source est disponible à l'adresse suivante : https://github.com/wenbowen123/BundleTrack