1. 튜토리얼 소개

바이트댄스 산하 피코(Pico) 팀에서 2025년 7월 3일에 출시한 EX-4D는 혁신적인 4D 비디오 생성 프레임워크입니다. 이 프레임워크는 극단적인 시점에서도 단안 비디오 입력으로부터 고품질 4D 비디오를 생성할 수 있습니다. EX-4D는 독자적인 심층 방수 메시(DW-Mesh) 표현 방식을 기반으로 하며, 가시 영역과 가려진 영역을 명시적으로 모델링하여 극단적인 카메라 자세에서도 기하학적 일관성을 보장합니다. 또한, 시뮬레이션된 가림 마스킹 전략을 사용하여 단안 비디오로부터 효과적인 학습 데이터를 생성하고, 경량 LoRA 기반 비디오 확산 어댑터를 통해 물리적으로 일관되고 시간적으로 일관성 있는 비디오를 합성합니다. EX-4D는 극단적인 시점에서 기존 방식보다 훨씬 뛰어난 성능을 보여주며, 4D 비디오 생성에 대한 새로운 해결책을 제시합니다. 관련 연구 논문은 검색 가능합니다. EX-4D: 깊이 방수 메시를 통한 극한 시점 4D 영상 합성 .

이 튜토리얼에서는 리소스로 단일 RTX A6000 카드를 사용합니다.

2. 프로젝트 예시

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 사용 단계

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.

매개변수 설명

• 카메라 각도: 카메라 각도는 30°~180°입니다. 각도가 클수록 시야가 넓어집니다.
• 프레임 수: 비디오 프레임의 수.
• 추론 단계: 추론 단계.
• 랜덤 시드: 랜덤 시드.

4. 토론

🖌️ 고품질 프로젝트를 발견하시면, 백그라운드에 메시지를 남겨 추천해주세요! 또한, 튜토리얼 교환 그룹도 만들었습니다. 친구들의 QR코드 스캔과 [SD 튜토리얼] 댓글을 통해 그룹에 가입하여 다양한 기술 이슈에 대해 논의하고 신청 결과를 공유해 주시기 바랍니다.↓

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@misc{hu2025ex4dextremeviewpoint4d,
      title={EX-4D: EXtreme Viewpoint 4D Video Synthesis via Depth Watertight Mesh}, 
      author={Tao Hu and Haoyang Peng and Xiao Liu and Yuewen Ma},
      year={2025},
      eprint={2506.05554},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2506.05554}, 
}