JRMOT : Un suiveur 3D multi-objets en temps réel et un nouveau jeu de données à grande échelle
Les robots capables de se déplacer de manière autonome doivent percevoir et suivre le mouvement des objets et des agents présents dans leur environnement. Ces informations permettent de planifier et d’exécuter des trajectoires robustes et sécurisées. Pour faciliter ces processus, la motion doit être perçue dans un espace cartésien 3D. Toutefois, la majorité des recherches récentes en suivi multi-objets (MOT) se concentrent sur le suivi des personnes et des objets mobiles à partir de séquences vidéo 2D en RGB. Dans ce travail, nous présentons JRMOT, un nouveau système de suivi multi-objets 3D qui intègre des informations provenant d’images RGB et de nuages de points 3D afin d’atteindre des performances en temps réel et au niveau de l’état de l’art. Notre système repose sur des réseaux neuronaux récents pour la ré-identification, la détection 2D et 3D, ainsi que la description des trajectoires, tous intégrés dans un cadre probabiliste conjoint basé sur une architecture récursive de Kalman multi-modale. Dans le cadre de ce travail, nous rendons disponible le jeu de données JRDB, un nouveau jeu de données à grande échelle combinant modalités 2D et 3D, annoté avec plus de 2 millions de boîtes englobantes et 3 500 trajectoires 2D+3D cohérentes dans le temps, réparties sur 54 scènes intérieures et extérieures. JRDB contient plus de 60 minutes de données, incluant des vidéos RGB cylindriques à 360 degrés et des nuages de points 3D dans des contextes sociaux, utilisés pour développer, entraîner et évaluer JRMOT. Le système de suivi 3D présenté ici atteint des performances de pointe par rapport aux méthodes concurrentes sur le benchmark populaire de suivi 2D KITTI, et constitue la première solution de suivi 3D proposée pour notre benchmark. Des tests effectués sur un robot réel, le robot social JackRabbot, montrent que le système est capable de suivre de manière rapide et fiable plusieurs piétons. Le code ROS de notre suiveur est disponible à l’adresse suivante : https://sites.google.com/view/jrmot.