EPro-PnP : Perspective-n-Points probabilistes généralisés et bout-en-bout pour l'estimation de la pose d'objets monoculaires

La localisation d’objets 3D à partir d’une seule image RGB via le problème Perspective-n-Point (PnP) est un défi ancien en vision par ordinateur. Poussé par l’apprentissage profond end-to-end, les travaux récents proposent d’interpréter le PnP comme une couche différentiable, permettant d’apprendre partiellement les correspondances entre points 2D et 3D en rétropropageant les gradients de la perte de pose. Toutefois, apprendre l’ensemble des correspondances depuis zéro reste extrêmement difficile, notamment dans les cas de solutions ambiguës de pose, où la pose optimale globale est théoriquement non différentiable par rapport aux points. Dans cet article, nous proposons EPro-PnP, une couche PnP probabiliste pour l’estimation de pose end-to-end généralisée, qui produit une distribution de pose dotée d’une densité de probabilité différentiable sur la variété de SE(3). Les coordonnées 2D-3D ainsi que leurs poids associés sont traités comme variables intermédiaires apprises en minimisant la divergence de Kullback-Leibler entre la distribution de pose prédite et celle cible. Ce principe fondamental généralise les approches antérieures et s’inspire du mécanisme d’attention. EPro-PnP améliore les réseaux existants de correspondances, réduisant ainsi l’écart entre les méthodes basées sur PnP et les meilleures performances sur le benchmark LineMOD pour l’estimation de pose 6D. En outre, EPro-PnP ouvre de nouvelles perspectives pour la conception de réseaux, comme le montre notre proposition d’un nouveau réseau de correspondances déformables atteignant l’état de l’art en précision de pose sur le benchmark nuScenes pour la détection d’objets 3D. Notre code est disponible à l’adresse suivante : https://github.com/tjiiv-cprg/EPro-PnP-v2.