최근 몇 년 동안 생성형 AI는 이미지, 비디오, 텍스트와 같은 2D 콘텐츠에 널리 적용되어 왔지만, 3D 생성은 차원 증가 이상의 것을 포함하기 때문에 도달 가능한 것처럼 보이지만 여전히 어려운 과제로 남아 있습니다.이는 표현 방식, 학습 목표 및 엔지니어링 활용성에 대한 종합적인 테스트이기도 합니다.

3D 생성 모델이 직면한 핵심 과제는 단순히 "객체처럼 보이는 결과물을 생성하는 것이 가능한가"라는 질문에 있는 것이 아닙니다.오히려 이는 "고차원 공간에서 기하학적 일관성, 의미론적 안정성 및 구조적 유용성을 동시에 유지하는 방법"에 관한 것입니다.모델은 특정 시점에서는 그럴듯해 보일 수 있지만 시점이 바뀌면 금방 무너질 수 있습니다. 또한 시각적으로는 매우 사실적일 수 있지만 편집 및 재사용이 가능한 표준 3D 에셋으로 내보낼 수 없을 수도 있습니다. 이러한 문제들은 3D 생성 기술을 실제 제작 시나리오에 적용하는 데 직접적인 제약을 가합니다.

최근 몇 년 동안 업계는 다양한 기술적 접근 방식을 끊임없이 실험하고 그 사이를 오가며 변화해 왔습니다. 예를 들어,NeRF 기반 방법은 시각적 연속성에서 뛰어난 성능을 보여줍니다.하지만 이 기술은 모델링보다는 렌더링에 치우쳐 있기 때문에 메시, 토폴로지 및 물리적 속성에 대한 후속 요구 사항을 충족하기 어렵습니다.복셀 또는 명시적 메쉬 기반의 생성 방법은 명확한 구조를 가지고 있습니다.하지만 해상도, 세부 표현, 일반화 능력 면에서 오랫동안 한계가 존재해 왔습니다.단일 시점 또는 다중 시점 3D 생성 방식은 효율성 면에서 획기적인 발전을 이루었습니다.하지만 일반적으로 여러 관점 간의 일관성 부족 및 불안정한 기하학적 구조와 같은 문제에 직면합니다.

이러한 접근 방식의 반복적인 발전은 특정 모델이나 훈련 기법의 부적절함을 드러내는 것이 아니라, 오히려 더 근본적인 사실을 보여줍니다. 즉, 3D 생성 문제는 본질적으로 표현 방식, 생성 경로 및 훈련 목표 간의 체계적인 불일치에 있다는 것입니다.모델의 최적화 목표가 "구조적으로 건전한지"보다는 "그럴듯하게 보이도록" 하는 데 주로 초점을 맞출 경우, 생성된 결과가 실증과 실제 적용 사이의 간극을 메우기 어려워집니다.

이를 고려하여,마이크로소프트 리서치 아시아는 최근 TRELLIS.2를 출시했는데, 이 소프트웨어는 금속, 플라스틱, 유리, 나무, 물결 등 다양한 재질을 사용하여 3D 객체를 생성할 뿐만 아니라 객체의 내부 구조까지 완벽하게 구현할 수 있습니다.기존의 필드 기반 3D 생성 방식과 달리, TRELLIS.2는 필드가 필요 없는 새로운 표현 방식인 희소 복셀 구조 O-Voxel을 혁신적으로 제안합니다. 이 표현 방식을 통해 임의의 위상 구조와 풍부한 재질 특성을 가진 고해상도 3D 에셋을 생성할 수 있으며, 개발자의 전처리 부담을 크게 줄일 수 있습니다.

동시에 TRELLIS.2는 16배의 공간 압축을 달성하여 40억 개의 매개변수를 가진 대규모 생성 모델이 효율적으로 학습 및 추론을 완료할 수 있도록 합니다.실제 성능 측면에서 보면, 512³ 해상도의 풀 텍스처 에셋을 생성하는 데는 약 3초밖에 걸리지 않습니다.

"TRELLIS.2 3D 생성 데모"가 HyperAI 웹사이트(hyper.ai)의 "튜토리얼" 섹션에서 제공됩니다. 효율적인 3D 모델 생성을 직접 경험해 보세요!

온라인으로 실행:https://go.hyper.ai/1nofM

효과 시연:

데모 실행

1. hyper.ai 홈페이지에 접속한 후 "TRELLIS.2 3D 데모 생성"을 선택하거나 "튜토리얼" 페이지로 이동하여 선택하세요. 페이지가 리디렉션되면 "이 튜토리얼을 온라인으로 실행"을 클릭하세요.

2. 페이지가 이동한 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.

참고: 페이지 오른쪽 상단에서 언어를 변경할 수 있습니다. 현재 중국어와 영어로만 제공됩니다. 이 튜토리얼에서는 영어로 된 단계를 안내합니다.

3. "NVIDIA RTX 5090" 및 "PyTorch" 이미지를 선택하고 필요에 따라 "종량제" 또는 "일일 요금제/주간 요금제/월간 요금제"를 선택한 다음 "작업 실행 계속"을 클릭합니다.

HyperAI는 신규 사용자를 위한 등록 혜택을 제공합니다.단 $1로 20시간 동안 RTX 5090의 컴퓨팅 성능을 이용할 수 있습니다(정가 $7).해당 리소스는 영구적으로 유효합니다.

4. 리소스 할당이 완료될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "워크스페이스 열기"를 클릭하여 Jupyter 워크스페이스에 들어갑니다.

효과 시연

페이지가 리디렉션된 후 왼쪽의 README 페이지를 클릭하고 상단의 실행을 클릭하세요.

절차가 완료되면 오른쪽에 있는 API 주소를 클릭하여 데모 페이지로 이동하세요.

위는 HyperAI가 이번에 추천하는 튜토리얼입니다. 누구나 와서 체험해 보세요!

튜토리얼 링크:https://go.hyper.ai/1nofM