Estimation de l'apparence sous-trame et de la pose 6D d'objets en mouvement rapide

Nous proposons une nouvelle méthode permettant de suivre des objets en mouvement rapide, principalement sphériques et non uniformes, dans les 6 degrés de liberté complets, en estimant simultanément leur trajectoire 3D, leur orientation 3D et les variations de leur apparence, avec un pas temporel inférieur à la durée d’exposition d’un cadre vidéo. La localisation sous-cadre des objets et l’estimation de leur apparence permettent une super-résolution temporelle réaliste ainsi qu’une estimation précise de leur forme. Cette méthode, nommée TbD-3D (Tracking by Deblatting in 3D), repose sur un nouvel algorithme de reconstruction qui résout un problème de déflouage par morceaux et de matting. La rotation 3D est estimée en minimisant l’erreur de reprojection. En second lieu, nous présentons un nouveau jeu de données exigeant, comprenant des objets en mouvement rapide dont l’apparence et la distance à la caméra évoluent. Des enregistrements réalisés avec une caméra haute vitesse, présentant une absence de délai entre les expositions des cadres, ont été utilisés pour générer des vidéos à différentes fréquences d’image, annotées avec les trajectoires et orientations vraies (ground-truth).