SO-Pose : Exploiter l’occlusion propre pour une estimation directe de la pose 6D

La régression directe des 6 degrés de liberté (6DoF) de la pose d’un objet (c’est-à-dire la rotation et la translation 3D) dans un environnement encombré à partir d’une seule image RGB constitue un problème difficile. Bien que les méthodes end-to-end aient récemment montré des résultats prometteurs en termes d’efficacité, elles restent inférieures aux approches complexes basées sur P$n$P/RANSAC en matière de précision de la pose. Dans ce travail, nous remédions à cet inconvénient grâce à une nouvelle approche fondée sur le raisonnement de l’occlusion propre, permettant de construire une représentation en deux couches pour les objets 3D, ce qui améliore considérablement la précision de l’estimation de pose 6DoF en mode end-to-end. Notre cadre, nommé SO-Pose, prend une seule image RGB en entrée et génère simultanément des correspondances 2D-3D ainsi que des informations d’occlusion propre en exploitant un encodeur partagé et deux décodeurs distincts. Ces deux sorties sont ensuite fusionnées pour régresser directement les paramètres de la pose 6DoF. En intégrant des consistance entre couches qui alignent les correspondances, l’occlusion propre et la pose 6DoF, nous parvenons à améliorer davantage la précision et la robustesse, dépassant ou égalant toutes les autres approches de pointe sur diverses bases de données exigeantes.