EX-4D: 단안 영상에서 자유 시야 생성

1. 튜토리얼 소개

EX-4D는 ByteDance 산하 Pico 팀이 2025년 7월 3일 출시한 새로운 4D 비디오 생성 프레임워크입니다. 단안 비디오 입력을 통해 극한의 관점에서 고품질 4D 비디오를 생성할 수 있습니다. 이 프레임워크는 독특한 심층 방수 메시(DW-Mesh) 표현 방식을 기반으로 하며, 극한의 카메라 포즈에서 기하학적 일관성을 보장하기 위해 가시 영역과 가려진 영역을 명시적으로 모델링합니다. 이 프레임워크는 시뮬레이션된 가려짐 마스크 전략을 사용하여 단안 비디오를 기반으로 효과적인 학습 데이터를 생성하고, 경량 LoRA 기반 비디오 확산 어댑터를 사용하여 물리적으로 일관되고 시간적으로 일관된 비디오를 합성합니다. EX-4D는 극한의 관점에서 기존 방식보다 훨씬 뛰어난 성능을 발휘하여 4D 비디오 생성을 위한 새로운 솔루션을 제공합니다. 관련 논문 결과는 다음과 같습니다.EX-4D: 깊이 방수 메시를 통한 극한 시점 4D 영상 합성".

이 튜토리얼에서는 리소스로 단일 RTX A6000 카드를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 사용 단계

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.

매개변수 설명

• 카메라 각도: 카메라 각도는 30°~180°입니다. 각도가 클수록 시야가 넓어집니다.
• 프레임 수: 비디오 프레임의 수.
• 추론 단계: 추론 단계.
• 랜덤 시드: 랜덤 시드.

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@misc{hu2025ex4dextremeviewpoint4d,
      title={EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh}, 
      author={Tao Hu and Haoyang Peng and Xiao Liu and Yuewen Ma},
      year={2025},
      eprint={2506.05554},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05554}, 
}