DynPose-100K ist ein von NVIDIA im Jahr 2025 veröffentlichter großer Datensatz mit 100.000 vielfältigen dynamischen Videos und präzisen Kamerakennzeichnungen. Die zugehörige Forschungsarbeit trägt den Titel „Dynamic Camera Poses and Where to Find Them" und zielt darauf ab, die Herausforderungen bei der genauen Schätzung von Kameraintrinsics und -posen in dynamischen Videos zu lösen. Durch die Auswahl von Videos, die für die Kameraschätzung geeignet sind, und die Verbesserung von Kameraschätzungsalgorithmen für dynamische Videos bietet der Datensatz hochwertige Datenunterstützung für die Forschung im Bereich Computer Vision.

Der Datensatz wurde aus 3,2 Millionen Kandidatenvideos ausgewählt und enthält Videoclips mit reichhaltigem dynamischem Inhalt. Alle Videos sind mit Welt-zu-Kamera-Kameraposen (poses) und Kameraintrinsics (intrinsics) annotiert.

Zusammensetzung des Datensatzes

Der Datensatz umfasst hauptsächlich die folgenden Teile und Felder:

• Videodaten: Etwa 100.000 Videos im MP4-Format mit einer Auflösung von 1280×720 (720p) und einer Gesamtgröße von etwa 200 GB.
• Framedaten: Aus den Videos extrahierte Frames im JPG-Format mit einer Bildrate von 12 fps und einer Gesamtgröße von etwa 400 GB.
• Kamerakennzeichnungsdaten: Dateien im PKL-Format mit den folgenden Feldern:
• poses: Kameraposen-Matrizen (N',3,4)
• intrinsics: Kameraintrinsics-Matrizen (3,3)
• frame_idxs: Liste der entsprechenden Frame-Indizes
• mean_reproj_error: Mittlerer Reprojizierungsfehler
• num_points: Anzahl der Reprojizierungspunkte
• num_frames: Gesamtzahl der Videoframes
• Metadatendateien:
• metadata.csv: Enthält Informationen wie Video-ID, URL, Zeitstempel und Beschreibung, die zum Herunterladen von Videos und Extrahieren von Frames verwendet werden.
• uid_mapping.csv: UID-Zuordnungsdatei.
• Lightspeed-Benchmark-Testset: Enthält kurze Videoclips mit echten Kameraposen zur Validierung der Kennzeichnungsmethode von DynPose-100K, mit einer Gesamtgröße von etwa 8,1 GB.

Zitation

@inproceedings{rockwell2025dynpose,
    author = {Rockwell, Chris and Tung, Joseph and Lin, Tsung-Yi and Liu, Ming-Yu and Fouhey, David F. and Lin, Chen-Hsuan},
    title = {Dynamic Camera Poses and Where to Find Them},
    booktitle = {CVPR},
    year = 2025
}