PointOdyssey : Un ensemble de données synthétiques à grande échelle pour le suivi de points à long terme

Nous introduisons PointOdyssey, un jeu de données synthétique à grande échelle ainsi qu’un cadre de génération de données, destinés à l’entraînement et à l’évaluation d’algorithmes de suivi fine à long terme. Notre objectif est de faire progresser l’état de l’art en mettant l’accent sur des vidéos longues présentant un mouvement naturel. Pour atteindre ce niveau de naturalisme, nous animons des personnages déformables à l’aide de données de capture de mouvement réelles, nous construisons des scènes 3D correspondant aux environnements de capture de mouvement, et nous rendons les points de vue caméra à partir de trajectoires extraites par analyse structure à partir de mouvement (structure-from-motion) sur des vidéos réelles. Nous créons une diversité combinatoire en randomisant l’apparence des personnages, les profils de mouvement, les matériaux, l’éclairage, les ressources 3D et les effets atmosphériques. Notre jeu de données comprend actuellement 104 vidéos, d’une durée moyenne de 2 000 images, avec un nombre d’annotations de correspondance plusieurs ordres de grandeur supérieur à celui des travaux antérieurs. Nous démontrons que les méthodes existantes peuvent être entraînées de zéro sur notre jeu de données et surpasser les variantes publiées. Enfin, nous proposons des modifications à la méthode de suivi de points PIPs, qui élargissent considérablement son champ de réception temporelle, améliorant ainsi ses performances sur PointOdyssey ainsi que sur deux benchmarks réels. Nos données et code sont disponibles publiquement à l’adresse : https://pointodyssey.com