SynCamVideo-Dataset Multi-Kamera Synchronisierter Videodatensatz

SynCamVideo-Dataset ist ein synchronisierter Videodatensatz mit mehreren Kameras, der 2024 von einem Forschungsteam der Zhejiang University, Kuaishou Technology, Tsinghua University und der Chinese University of Hong Kong mithilfe von Unreal Engine 5-Rendering generiert wurde. Die entsprechenden Ergebnisse der Studie sind „SynCamMaster: Synchronisieren der Multikamera-Videogenerierung aus verschiedenen Blickwinkeln".

Es enthält 1.000 verschiedene Szenen, die jeweils von 36 Kameras aufgenommen wurden, wodurch insgesamt 36.000 Videos entstehen. Der Datensatz enthält 50 verschiedene Tiere als „Hauptmotive“ und verwendet 20 verschiedene Orte aus Poly Haven als Hintergründe. Die Kameras in jeder Szene wurden auf einer halbkugelförmigen Oberfläche in Abständen von 3,5 m bis 9 m vom Mittelpunkt der Szene platziert. Um einen minimalen Feldversatz zwischen dem gerenderten Video und dem realen Video sicherzustellen, ist der Höhenwinkel der Kamera auf 0° bis 45° und ihr Azimutwinkel auf 0° bis 360° beschränkt. Anstatt für alle Szenen die gleichen Kamerapositionen zu verwenden, nimmt jede Kamera innerhalb dieser Einschränkungen zufällige Stichproben vor.

Der SynCamVideo-Datensatz kann zum Trainieren von Modellen für die synchronisierte Videogenerierung mit mehreren Kameras verwendet werden und inspiriert Anwendungen in Bereichen wie Filmproduktion und Multi-View-Datengenerierung. Die Dateistruktur des Datensatzes enthält Trainings- und Validierungssätze, in denen das Video jeder Szene und die entsprechenden externen Kameraparameter separat gespeichert werden.