MiraData: 장시간 지속되고 구조화된 자막을 갖춘 대규모 비디오 데이터 세트

* 이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

MiraData는 Tencent PCG ARC Lab과 홍콩 중국 대학이 2024년에 공동으로 개발한 대규모 비디오 데이터 세트입니다. 긴 비디오 생성 작업을 위해 설계되었습니다. 논문 결과는 "MiraData: 긴 지속 시간과 구조화된 자막을 갖춘 대규모 비디오 데이터 세트"

이전의 짧은 영상 클립과 달리 MiraData는 1~2분(평균 길이 72.1초)의 편집되지 않은 영상 클립에 중점을 둡니다. 각 영상에는 다양한 각도에서 바라본 체계적인 설명이 함께 제공되며, 설명의 평균 길이는 318단어입니다. 이를 통해 영상 콘텐츠를 포괄적으로 표현할 수 있습니다. 여기에는 주제 설명, 배경, 스타일, 카메라 모션, 간략한 설명, 세부 설명 등 6가지 유형의 설명이 포함되어 있어 데이터 세트의 설명 심도를 향상시킵니다.

연구팀은 고품질 클립을 보장하기 위해 미적 요소, 동작 강도, 색상을 기준으로 데이터 세트를 5개 하위 집합으로 필터링하여 시각적 품질이 높고 동작 강도가 강한 클립을 선택했습니다. 연구팀은 자세하고 정확한 설명을 얻기 위해 최첨단 자막 생성기를 사용하여 짧은 자막을 먼저 생성한 다음, GPT-4V를 사용하여 자막을 풍부하게 하여 밀도 있는 자막을 생성했습니다. 다양한 관점에서 세부적인 비디오 설명을 제공합니다.

MiraData 데이터 세트는 장시간 비디오 생성, 비디오 콘텐츠 이해 및 생성 분야의 연구자들에게 귀중한 리소스와 새로운 과제를 제공합니다.