se(3)-TrackNet : Suivi de pose 6D piloté par les données par calibration des résidus d’image dans des domaines synthétiques

Le suivi de la pose 6D des objets dans des séquences vidéo est essentiel pour la manipulation robotique. Ce problème soulève toutefois plusieurs défis majeurs : (i) la manipulation robotique engendre des occlusions importantes ; (ii) les données et annotations nécessaires pour les poses 6D sont difficiles à collecter, ce qui complique l’application de méthodes d’apprentissage automatique ; (iii) des erreurs d’accumulation s’accumulent fréquemment au fil du temps, rendant nécessaire une réinitialisation périodique de la pose de l’objet. Ce travail propose une approche d’optimisation pilotée par les données pour le suivi à long terme de la pose 6D. Elle vise à estimer la pose relative optimale à partir d’une observation RGB-D actuelle et d’une image synthétique conditionnée par l’estimation précédente la plus précise et par le modèle de l’objet. La contribution principale réside dans une nouvelle architecture de réseau neuronal, qui décompose efficacement l’encodage des caractéristiques afin de réduire le décalage de domaine, ainsi qu’une représentation 3D efficace de l’orientation fondée sur l’algèbre de Lie. Grâce à cette approche, le modèle peut fonctionner de manière performante sur des images réelles, même lorsqu’il a été entraîné uniquement sur des données synthétiques. Des expériences approfondies sur des benchmarks existants ainsi qu’un nouveau jeu de données comprenant des occlusions importantes liées à la manipulation d’objets démontrent que la méthode proposée fournit des estimations robustes et constantes, surpassant systématiquement les alternatives, même celles entraînées sur des images réelles. En outre, cette approche s’impose comme la plus efficace sur le plan computationnel parmi les solutions comparées, atteignant une fréquence de suivi de 90,9 Hz.