CPPF : Vers une estimation robuste de la pose 9D au niveau des catégories dans des conditions réelles

Dans cet article, nous abordons le problème de l'estimation de la pose 9D au niveau des catégories dans des conditions réelles, à partir d'une seule image RGB-D. L'utilisation de données supervisées de poses 9D du monde réel est fastidieuse et sujette aux erreurs, et ne parvient pas à généraliser à des scénarios inédits. De plus, l'estimation de la pose au niveau des catégories nécessite que la méthode soit capable de généraliser à des objets inconnus lors des tests, ce qui constitue également un défi.En nous inspirant des caractéristiques traditionnelles de paires de points (PPFs), nous concevons dans cet article une nouvelle méthode de vote basée sur les Caractéristiques de Paires de Points au Niveau des Catégories (CPPF) pour réaliser une estimation précise, robuste et généralisable de la pose 9D dans des conditions réelles. Pour obtenir une estimation robuste de la pose, nous échantillonnons un grand nombre de paires de points sur un objet, et pour chaque paire notre modèle prédit les statistiques de vote SE(3)-invariantes nécessaires sur les centres, orientations et échelles des objets. Un nouvel algorithme de vote progressif du grossier au fin est proposé pour éliminer les échantillons bruyants de paires de points et générer les prédictions finales à partir du groupe.Pour éviter les faux positifs lors du processus de vote d'orientation, une tâche auxiliaire de classification binaire est introduite pour chaque paire de points échantillonnée. Afin de détecter les objets dans des conditions réelles, nous avons soigneusement conçu notre pipeline sim-to-real en ne formant notre modèle que sur des nuages ​​de points synthétiques, sauf lorsque les objets présentent des poses ambiguës en géométrie. Dans ce cas, l'information couleur est utilisée pour lever ces ambiguïtés.Les résultats sur des benchmarks standards montrent que notre méthode se compare favorablement aux méthodes actuelles d'état de l'art formées avec des données du monde réel. Des expériences approfondies montrent également que notre méthode est robuste au bruit et donne des résultats prometteurs dans des scénarios extrêmement difficiles. Notre code est disponible sur https://github.com/qq456cvb/CPPF.