DynPose-100K ist ein von NVIDIA im Jahr 2025 veröffentlichtes groß angelegtes Dataset mit 100.000 vielfältigen dynamischen Videos und präzisen Kameramarkierungen. Die zugehörige Forschungsarbeit trägt den Titel „Dynamic Camera Poses and Where to Find Them“ und zielt darauf ab, die Herausforderungen bei der genauen Schätzung von Kameraintrinsics und -posen in dynamischen Videos zu lösen. Durch die Auswahl von Videos, die für die Kameraschätzung geeignet sind, und die Verbesserung von Kameraschätzalgorithmen für dynamische Videos bietet es hochwertige Datenunterstützung für die Forschung im Bereich Computer Vision.

Das Dataset wurde aus 3,2 Millionen Kandidatenvideos ausgewählt und enthält Videoclips mit reichhaltigem dynamischem Inhalt. Alle Videos sind mit Welt-zu-Kamera-Kameraposen (Posen) und Kameraintrinsics annotiert.

Dataset-Zusammensetzung

Das Dataset umfasst hauptsächlich die folgenden Teile und Felder:

• Videodaten: Etwa 100.000 MP4-Videos mit einer Auflösung von 1280×720 (720p) und einer Gesamtgröße von etwa 200 GB.
• Framedaten: Aus den Videos extrahierte JPG-Frames mit einer Bildrate von 12 fps und einer Gesamtgröße von etwa 400 GB.
• Kameramarkierungsdaten: PKL-Dateien mit den folgenden Feldern:
• poses: Kameraposen-Matrizen (N',3,4)
• intrinsics: Kameraintrinsics-Matrizen (3,3)
• frame_idxs: Entsprechende Frame-Indexlisten
• mean_reproj_error: Mittlerer Rückprojektionsfehler
• num_points: Anzahl der Rückprojektionspunkte
• num_frames: Gesamtzahl der Videoframes
• Metadatendateien:
• metadata.csv: Enthält Informationen wie Video-ID, URL, Zeitstempel und Beschreibung zum Herunterladen von Videos und Extrahieren von Frames.
• uid_mapping.csv: UID-Zuordnungsdatei.
• Lightspeed-Benchmark-Testset: Enthält kurze Videoclips mit echten Kameraposen zur Validierung der Markierungsmethode von DynPose-100K, mit einer Gesamtgröße von etwa 8,1 GB.

Zitat

@inproceedings{rockwell2025dynpose,
    author = {Rockwell, Chris and Tung, Joseph and Lin, Tsung-Yi and Liu, Ming-Yu and Fouhey, David F. and Lin, Chen-Hsuan},
    title = {Dynamic Camera Poses and Where to Find Them},
    booktitle = {CVPR},
    year = 2025
}