DynPose-100K est un ensemble de données à grande échelle publié par NVIDIA en 2025, comprenant 100 000 segments de vidéos dynamiques diversifiés accompagnés d'annotations précises de caméra. Le document de recherche associé est « Dynamic Camera Poses and Where to Find Them », visant à résoudre les défis de l'estimation précise des paramètres intrinsèques et de la pose de la caméra dans les vidéos dynamiques, en sélectionnant des vidéos adaptées à l'estimation de la caméra et en améliorant les algorithmes d'estimation de caméra pour vidéos dynamiques, fournissant ainsi un support de données de haute qualité pour la recherche en vision par ordinateur.

Cet ensemble de données a été sélectionné parmi 3,2 millions de vidéos candidates, contenant des clips vidéo au contenu dynamique riche. Toutes les vidéos sont annotées avec les poses de caméra monde-vers-caméra (poses) et les paramètres intrinsèques de la caméra (intrinsics).

Composition de l'ensemble de données

L'ensemble de données comprend principalement les parties et champs suivants :

• Données vidéo : environ 100 000 vidéos au format MP4, avec une résolution de 1280×720 (720p), pour une taille totale d'environ 200 Go.
• Données d'images : images au format JPG extraites des vidéos, à une fréquence de 12 images par seconde, pour une taille totale d'environ 400 Go.
• Données d'annotations de caméra : fichiers au format PKL, contenant les champs suivants :
• poses : matrices de pose de caméra (N',3,4)
• intrinsics : matrices de paramètres intrinsèques de la caméra (3,3)
• frame_idxs : liste des indices d'images correspondants
• mean_reproj_error : erreur de reprojection moyenne
• num_points : nombre de points de reprojection
• num_frames : nombre total d'images de la vidéo
• Fichiers de métadonnées :
• metadata.csv : contient les identifiants vidéo, URL, horodatages, descriptions, etc., utilisés pour télécharger les vidéos et extraire les images.
• uid_mapping.csv : fichier de correspondance UID.
• Ensemble de référence Lightspeed : contient de courts clips vidéo avec des poses de caméra réelles, utilisé pour valider la méthode d'annotation de DynPose-100K, pour une taille totale d'environ 8,1 Go.

Citation

@inproceedings{rockwell2025dynpose,
    author = {Rockwell, Chris and Tung, Joseph and Lin, Tsung-Yi and Liu, Ming-Yu and Fouhey, David F. and Lin, Chen-Hsuan},
    title = {Dynamic Camera Poses and Where to Find Them},
    booktitle = {CVPR},
    year = 2025
}