SynCamVideo-Dataset Ensemble De Données Vidéo Synchronisées Multi-caméras

SynCamVideo-Dataset est un ensemble de données vidéo synchronisées multi-caméras généré par une équipe de recherche de l'Université du Zhejiang, de Kuaishou Technology, de l'Université Tsinghua et de l'Université chinoise de Hong Kong en 2024 à l'aide du rendu Unreal Engine 5. Les résultats de l'article connexe sont «SynCamMaster : Synchronisation de la génération de vidéos multi-caméras à partir de différents points de vue".

Il contient 1 000 scènes différentes, chacune capturée par 36 caméras, générant un total de 36 000 vidéos. L'ensemble de données présente 50 animaux différents comme « sujets principaux » et utilise 20 emplacements différents de Poly Haven comme arrière-plans. Les caméras de chaque scène ont été placées sur une surface hémisphérique à des distances allant de 3,5 m à 9 m du centre de la scène. Pour garantir un décalage de champ minimal entre la vidéo rendue et la vidéo réelle, l'angle d'élévation de la caméra est limité entre 0° et 45°, et son angle d'azimut est limité entre 0° et 360°. Au lieu d'utiliser le même ensemble de positions de caméra dans toutes les scènes, chaque caméra échantillonne de manière aléatoire dans le cadre de ces contraintes.

L'ensemble de données SynCamVideo peut être utilisé pour former des modèles pour la génération de vidéos synchronisées multi-caméras, inspirant des applications dans des domaines tels que la réalisation de films et la génération de données multi-vues. La structure du fichier de l'ensemble de données contient des ensembles d'entraînement et de validation, où la vidéo de chaque scène et les paramètres extrinsèques de la caméra correspondante sont stockés séparément.