1. 튜토리얼 소개

Kiss3DGen은 EnVision-Research 팀에서 개발하여 2025년 3월에 공개된 오픈 소스 3D 생성 및 재구성 프레임워크입니다. 이 프레임워크는 사전 학습된 2D 확산 모델을 3D 콘텐츠 생성 작업에 효율적으로 적용하는 것을 목표로 합니다. 고품질 멀티뷰 렌더링, 3D 텍스트 생성, 이미지-3D 변환, 3D 메쉬 재구성을 지원하며, Flux, Multiview, Caption, Reconstruction, LLM과 같은 고급 모듈을 통합하고 있습니다. 또한, 노멀 맵 및 텍스처 정보와 결합된 3D 번들 이미지 기술을 도입하여 정확한 기하학적 재구성을 구현합니다. 나아가 ControlNet과 같은 도구와 함께 사용하여 3D 모델을 개선하고 편집할 수 있습니다. 이 오픈 소스 프레임워크는 배포가 간편하며 학술 연구 및 실제 응용 분야 모두에서 가치가 높습니다. 관련 연구 논문은 온라인에서 확인할 수 있습니다. Kiss3DGen: 이미지 확산 모델을 3D 에셋 생성에 활용하기이는 CVPR 2025에 포함되었습니다.

이 튜토리얼에서는 RTX a6000 듀얼 카드 구성에서 작업합니다. 프로젝트 안내 메시지는 영어로만 제공됩니다.

2. 프로젝트 예시

텍스트-3D 

이미지를 3D로 변환 

3. 작업 단계

1. 컨테이너 시작 후 API 주소를 클릭하여 웹 인터페이스로 진입합니다.

2. 사용 단계

"Bad Gateway" 메시지가 표시되면 모델이 초기화 중이라는 의미입니다. 모델 용량이 크기 때문에 5~7분 정도 기다린 후 페이지를 새로고침해 주세요.

텍스트-3D 

이미지를 3D로 변환

참고: 오류가 발생하는 경우 더 작은 이미지를 사용해 보세요. 3MB 미만의 이미지를 사용하는 것을 권장합니다.

매개변수 설명

• 리덕스 강도: 생성된 이미지가 "다시 그려지거나 최적화되는" 정도를 제어합니다. 값이 높을수록 원본 이미지에 더 많은 수정과 세부적인 변화가 발생하고, 값이 낮을수록 원본 이미지의 세부 사항과 구조가 더 많이 보존됩니다. 값 범위: 0~1.
• 노이즈 제거 강도: 이미지 생성 과정에서 노이즈를 줄이는 정도를 조절합니다. 값이 높을수록(1에 가까울수록) 입력 이미지에 더 가깝지만 변동성이 큰 이미지가 생성되고, 값이 낮을수록 원본 이미지에 더 가까운 결과가 생성됩니다. 값 범위: 0~1.
• Redux 활성화: 이 기능을 활성화하면 이미지 생성 후 Redux 강도에 따라 최적화된 재그리기가 자동으로 수행되어 이미지 품질과 디테일이 향상됩니다.
• ControlNet 활성화: 이 옵션을 활성화하면 ControlNet을 구조적 또는 피처 제약 조건(참조 스케치, 에지 맵, 깊이 맵 등) 생성 과정에서 사용할 수 있으므로 생성된 이미지가 스타일을 유지하면서 특정 구조적 요구 사항을 충족할 수 있습니다.

인용 정보

이 프로젝트에 대한 인용 정보는 다음과 같습니다.

@article{lin2025kiss3dgen,
  title={Kiss3DGen: Repurposing Image Diffusion Models for 3D Asset Generation},
  author={Lin, Jiantao and Yang, Xin and Chen, Meixi and Xu, Yingjie and Yan, Dongyu and Wu, Leyi and Xu, Xinli and Xu, Lie and Zhang, Shunsi and Chen, Ying-Cong},
  journal={arXiv preprint arXiv:2503.01370},
  year={2025}
}