1. 튜토리얼 소개

HunyuanWorld-Mirror는 텐센트의 Hunyuan 팀에서 2025년 10월에 공개한 오픈 소스 3D 월드 생성 모델입니다. 다중 시점 이미지 및 비디오를 포함한 다양한 입력 방식을 지원하며, 포인트 클라우드, 깊이 맵, 카메라 파라미터 등 다양한 3D 기하학적 예측 결과를 출력할 수 있습니다. 이 모델은 순수 피드포워드 아키텍처를 채택하여 단일 GPU에서 실행 가능하며, 8~32개의 시점 입력을 로컬에서 처리하여 2차 추론을 수행합니다. 기술적 아키텍처는 다중 모달 사전 힌트, 일반적인 기하학적 예측 아키텍처, 커리큘럼 학습 전략을 포함합니다. 동적 사전 주입 메커니즘을 통해 모델은 다양한 사전 조합에 유연하게 적응할 수 있습니다. 학습 과정에서는 작업 순서, 데이터 스케줄링, 점진적 해상도 기반의 커리큘럼 학습 전략을 사용하여 일반화 능력을 극대화합니다. HunyuanWorld-Mirror는 3D 포인트 클라우드 재구성 및 엔드투엔드 3DGS 재구성에서 뛰어난 성능을 보여주며, 탁월한 기하학적 정확도와 세부 복원 능력을 입증합니다. 관련 연구 논문은 검색 가능합니다. WorldMirror: 사전 프롬프트를 통한 범용 3D 세계 재구성 .

이 튜토리얼에서는 기본 리소스로 단일 RTX 5090 그래픽 카드를 사용하지만, 최소한 단일 RTX 4090 그래픽 카드를 사용하여 프로그램을 시작할 수 있습니다.

2. 효과 표시

3. 작업 단계

1. 컨테이너를 시작하세요

2. 사용 단계

"잘못된 게이트웨이"가 표시되면 모델이 초기화 중임을 의미합니다. 모델이 크기 때문에 약 2~3분 정도 기다리신 후 페이지를 새로고침해 주시기 바랍니다.  첫 번째 재구성에는 약 2분이 걸리고, 데이터를 로드하고 3D 효과를 표시하는 데 시간이 걸릴 수 있습니다.

매개변수 옵션:

• 비디오 샘플 간격: 비디오 샘플링 세션 사이의 간격입니다.
• 재구성 옵션(3DGS에는 적용되지 않음):
  • 카메라 표시: 카메라를 표시할지 여부입니다.
  • 메시 표시: 메시를 표시할지 여부입니다.
  • 낮은 신뢰도 및 깊이/일반 에지 필터링: 낮은 신뢰도 및 깊이/일반 에지를 필터링할지 여부입니다.
  • 하늘 배경 필터링: 하늘 배경을 필터링할지 여부입니다.
• 3D 가우시안 스플래팅: RGB 및 깊이 비디오를 사용한 대화형 3D 가우시안 스퍼터링 시각화(PLY로 다운로드 가능).
• 포인트 클라우드/메시: 포인트 클라우드.
• 깊이 맵: 단일 뷰 깊이 추정 결과(PNG 형식으로 다운로드 가능).
• 일반 지도: 뷰별 표면 방향 시각화(PNG로 다운로드 가능).
• 카메라 매개변수: 추정된 카메라 포즈 및 내부 매개변수(JSON으로 다운로드 가능).

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@article{liu2025worldmirror,
  title={WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting},
  author={Liu, Yifan and Min, Zhiyuan and Wang, Zhenwei and Wu, Junta and Wang, Tengfei and Yuan, Yixuan and Luo, Yawei and Guo, Chunchao},
  journal={arXiv preprint arXiv:2510.10726},
  year={2025}
}