RNNPose : Réfinement récurrent de la pose 6-DoF d'objets avec estimation robuste du champ de correspondances et optimisation de la pose

L’estimation de la pose 6-DOF à partir d’une image monoculaire est un défi, et une procédure de raffinement postérieure est généralement nécessaire pour obtenir une estimation de haute précision. Dans cet article, nous proposons un cadre fondé sur un réseau de neurones récurrents (RNN) pour le raffinement de la pose d’objets, robuste aux poses initiales erronées et aux occlusions. Lors des itérations récurrentes, le raffinement de la pose est formulé comme un problème de moindres carrés non linéaires basé sur un champ de correspondances estimé (entre une image rendue et l’image observée). Ce problème est ensuite résolu par un algorithme de Levenberg-Marquardt différentiable, permettant une entraînement end-to-end. L’estimation du champ de correspondances et le raffinement de la pose sont alternés à chaque itération afin de reconstruire les poses des objets. En outre, pour améliorer la robustesse aux occlusions, nous introduisons un mécanisme de vérification de cohérence basé sur des descripteurs appris du modèle 3D et des images 2D observées, qui atténue les correspondances peu fiables pendant l’optimisation de la pose. Des expériences étendues sur les jeux de données LINEMOD, Occlusion-LINEMOD et YCB-Video valident l’efficacité de notre méthode et démontrent des performances de pointe.