Open Sora Dataset 프로젝트 비디오 데이터 세트

Open-Sora-Plan은 OpenAI의 Sora(T2V 모델)를 재현하고 Video-VQVAE(VideoGPT) + DiT에 대한 지식을 구축하는 것을 목표로 하는 오픈 소스 프로젝트입니다. 이 프로젝트는 베이징 대학과 투잔 인텔리전트 테크놀로지 주식회사가 공동으로 추진했으며, 연구를 통해 영상 생성 품질과 텍스트 제어 능력이 크게 향상되었습니다. 이 모델은 10초, 24FPS 1024×1024 HD 비디오를 생성할 수 있으며, 고해상도 이미지 생성도 지원하여 사용자에게 더욱 풍부하고 세부적인 시각적 경험을 제공합니다.

이 데이터 세트는 해당 프로젝트의 비디오 데이터 세트입니다. 연구팀은 CC0 라이선스에 따라 오픈소스 웹사이트에서 40,258개의 비디오를 크롤링했습니다. 모든 영상은 고화질이며 워터마크가 없습니다. 그 중 약 60%는 풍경 데이터입니다. 총 소요 시간은 대략 274시간 05분 13초 .

주요 데이터 출처는 세 가지 부분으로 나뉩니다.

1. 믹스킷：연구팀이 수집한 영상의 총 개수는 1,234총 기간은 약 6시간 19분 32초, 프레임의 총 수는 570,815 .
2. 펙셀: 연구팀이 수집한 총 영상 수는 7,408,총 소요 시간은 대략 48시간 49분 24초, 프레임의 총 수는 5,038,641 .
3. 픽사베이: 연구팀이 수집한 총 영상 수는 31,616,총 소요 시간은 대략 218시간 56분 17초, 프레임의 총 수는 23,508,970 .