HyperAI초신경
4일 전

OmniPart: 의미 분리와 구조적 일체감을 활용한 부품 인식 3D 생성

Yunhan Yang, Yufan Zhou, Yuan-Chen Guo, Zi-Xin Zou, Yukun Huang, Ying-Tian Liu, Hao Xu, Ding Liang, Yan-Pei Cao, Xihui Liu
OmniPart: 의미 분리와 구조적 일체감을 활용한 부품 인식 3D 생성
초록

3D 자산을 명시적이고 편집 가능한 부품 구조로 생성하는 것은 인터랙티브 애플리케이션의 발전에 필수적이지만, 대부분의 생성 방법은 단일 형태의 모양만을 생산하여 그 활용성이 제한됩니다. 우리는 이러한 문제를 해결하기 위해 OmniPart라는 새로운 프레임워크를 소개합니다. OmniPart는 부품 인식 3D 객체 생성을 설계하여 구성 요소 간 높은 의미론적 분리를 달성하면서도 견고한 구조적 결합을 유지하도록 설계되었습니다.OmniPart는 이 복잡한 작업을 두 개의 상호 보완적인 단계로 독특하게 분리합니다: (1) 자기 회귀 구조 계획 모듈은 제어 가능하고 길이가 가변인 3D 부품 경계 상자 시퀀스를 생성하며, 이 과정은 직관적인 부품 분해 제어를 가능하게 하면서 직접적인 대응 관계나 의미론적 라벨이 필요하지 않은 유연한 2D 부품 마스크에 의해 중요한 지침을 받습니다; 그리고 (2) 공간 조건화된 정규화 유동 모델은 사전 학습된 전체 3D 생성기에서 효율적으로 변환되어 계획된 레이아웃 내에서 모든 3D 부품을 동시에 일관되게 합성합니다.우리의 접근 방식은 사용자가 정의한 부품 세분화, 정확한 위치 결정, 그리고 다양한 후속 응용 프로그램을 지원합니다. 광범위한 실험 결과는 OmniPart가 최신 기술 수준의 성능을 달성함을 입증하며, 이는 더 해석 가능하고, 편집 가능하며, 다목적으로 활용할 수 있는 3D 콘텐츠의 발전에 길을 열 것입니다.