캐피틴 시네마: 짧은 영화 생성을 향하여

우리는 단편 영화 생성을 위한 생성 프레임워크인 Captain Cinema를 제안합니다.영화 스토리라인에 대한 자세한 텍스트 기술을 입력으로 받아, 우리의 방법은 먼저 전체 내러티브를 개요하는 핵심 프레임(키프레임) 시퀀스를 생성합니다. 이는 스토리라인과 시각적 표현(예: 장면과 인물)에서 장거리 일관성을 보장합니다. 이 단계를 '상향식 키프레임 계획'이라고 합니다.이 키프레임들은 이후 다중모달 확산 트랜스포머(Multimodal Diffusion Transformers, MM-DiT) 모델에 대한 조건 신호로 사용되며, 이 모델은 장기적인 맥락 학습을 지원하여 그 사이의 공간-시간적 동작을 생성합니다. 이 단계를 '하향식 영상 합성'이라고 합니다.다양한 장면을 포함하는 장기적인 내러티브 영화를 안정적이고 효율적으로 생성하기 위해, 우리는 장기 맥락 영상 데이터에 특화된 다중모달 확산 트랜스포머(MM-DiT)를 위한 교차 학습 전략을 도입합니다. 우리의 모델은 교차된 데이터 쌍으로 구성된 특별히 수집된 영화 데이터셋을 기반으로 학습되었습니다.우리의 실험 결과는 Captain Cinema가 고품질과 효율성을 바탕으로 시각적 일관성과 내러티브 일관성을 갖춘 단편 영화를 자동으로 생성하는 데 있어 우수한 성능을 보임을 보여줍니다.프로젝트 페이지: https://thecinema.ai