하나에서 여러 개로: 3D 생성을 위한 문맥적 부분 잠재변수

최근의 3D 생성 기술은 다중 뷰 2D 렌더링 접근법에서 진실 데이터의 기하학적 사전 정보를 활용하는 3D 네이티브 잠재 확산 프레임워크로 전환되었습니다. 그러나 진행에도 불구하고 세 가지 주요 제한이 지속되고 있습니다: (1) 단일 잠재 표현은 복잡한 다부분 기하학을 포착하지 못하여 세부 정보가 손실됩니다; (2) 전체적인 잠재 코딩은 조합 설계에 중요한 부분 독립성과 상호 관계를 무시합니다; (3) 전역 조건부 메커니즘은 미세한 제어 능력이 부족합니다. 인간의 3D 설계 워크플로에서 영감을 받아, 우리는 CoPart - 부분 인식 잠재 확산 프레임워크를 제안합니다. 이 프레임워크는 3D 객체를 문맥적인 부분 잠재 변수로 분해하여 일관된 다부분 생성을 가능하게 합니다. 이 패러다임은 다음과 같은 세 가지 장점을 제공합니다: i) 부분 분해를 통해 인코딩 복잡성을 줄입니다; ii) 명시적인 부분 관계 모델링을 가능하게 합니다; iii) 부분 수준 조건부 제어를 지원합니다. 우리는 또한 공동 가이드 전략을 개발하여 사전 학습된 확산 모델을 공동 부분 잠재 변수 노이즈 제거에 맞게微调(fine-tune), 기하학적 일관성과 기본 모델 사전 정보를 보장합니다. 대규모 학습을 가능하게 하기 위해, 우리는 자동 메시 세그멘테이션과 인간 검증 주석을 통해 Objaverse에서 파생된 새로운 3D 부분 데이터셋인 Partverse를 구축했습니다. 광범위한 실험들은 CoPart가 부분 수준 편집, 연결 객체 생성, 그리고 장면 구성에서 뛰어난 능력을 가지고 있으며, 그 어느 때보다도 뛰어난 제어 능력을 보여주었습니다.注：在"微调(fine-tune)"部分，由于这是一个中文术语，我将其直接转换为英文并标注了原文。在韩文中，通常会使用"미세 조정"来表示这个概念。因此，建议将该部分修改为“사전 학습된 확산 모델을 공동 부분 잠재 변수 노이즈 제거에 맞게 미세 조정하여...”。修正后的版本如下：최근의 3D 생성 기술은 다중 뷰 2D 렌더링 접근법에서 진실 데이터의 기하학적 사전 정보를 활용하는 3D 네이티브 잠재 확산 프레임워크로 전환되었습니다. 그러나 진행에도 불구하고 세 가지 주요 제한이 지속되고 있습니다: (1) 단일 잠재 표현은 복잡한 다부분 기하학을 포착하지 못하여 세부 정보가 손실됩니다; (2) 전체적인 잠재 코딩은 조합 설계에 중요한 부분 독립성과 상호 관계를 무시합니다; (3) 전역 조건부 메커니즘은 미세한 제어 능력이 부족합니다. 인간의 3D 설계 워크플로에서 영감을 받아, 우리는 CoPart - 부분 인식 잠재 확산 프레임워크를 제안합니다. 이 프레임워크는 3D 객체를 문맥적인 부분 잠재 변수로 분해하여 일관된 다부분 생성을 가능하게 합니다. 이 패러다임은 다음과 같은 세 가지 장점을 제공합니다: i) 부분 분해를 통해 인코딩 복잡성을 줄입니다; ii) 명시적인 부분 관계 모델링을 가능하게 합니다; iii) 부분 수준 조건부 제어를 지원합니다. 우리는 또한 공동 가이드 전략을 개발하여 사전 학습된 확산 모델을 공동 부분 잠재 변수 노이즈 제거에 맞게 미세 조정하여, 기하학적 일관성과 기본 모델 사전 정보를 보장합니다. 대규모 학습을 가능하게 하기 위해, 우리는 자동 메시 세그멘테이션과 인간 검증 주석을 통해 Objaverse에서 파생된 새로운 3D 부분 데이터셋인 Partverse를 구축했습니다. 광범위한 실험들은 CoPart가 부분 수준 편집, 연결 객체 생성, 그리고 장면 구성에서 뛰어난 능력을 가지고 있으며, 그 어느 때보다도 뛰어난 제어 능력을 보여주었습니다.