3D 모델링은 가상 세계에서 물리적 세계로 발전하고 있습니다. 기존의 3D 생성은 주로 기하학과 텍스처에 중점을 두면서 물리적 모델링을 소홀히 하였습니다. 그 결과, 3D 생성 모델이 급속도로 발전했음에도 불구하고, 합성된 3D 자산은 종종 풍부하고 중요한 물리적 속성을 간과하여 시뮬레이션 및 구현 AI와 같은 물리적 영역에서의 실제 응용을 방해하고 있습니다. 이 문제를 해결하기 위한 첫 번째 시도로서, 우리는 PhysX라는 물리적 근거를 갖춘 3D 자산 생성을 위한 단계별 패러다임을 제안합니다.1) 물리학 주석이 달린 3D 데이터셋의 중요한 격차를 메우기 위해, 우리는 PhysXNet - 절대 스케일, 재료, 용도, 운동학, 그리고 기능 설명 등 다섯 가지 기본 차원에 걸쳐 체계적으로 주석이 달린 최초의 물리학 근거 3D 데이터셋을 소개합니다. 특히, 비전-언어 모델을 기반으로 한 확장 가능한 인간 참여 주석 파이프라인을 설계하여 원시 3D 자산에서 효율적으로 물리학 중심 자산을 생성할 수 있도록 하였습니다.2) 또한, 우리는 PhysXGen이라는 물리학 근거를 갖춘 이미지-3D 자산 생성을 위한 순방향 프레임워크를 제안합니다. 이는 사전 학습된 3D 구조 공간에 물리적 지식을 주입하는 역할을 합니다. 구체적으로, PhysXGen은 3D 구조와 물리적 속성 사이의 잠재적인 상관관계를 명시적으로 모델링하는 듀얼 브랜치 아키텍처를 사용하여 실질적인 물리적 예측 능력을 유지하면서 원래의 기하학적 품질을 보존하는 3D 자산을 생성합니다. 광범위한 실험들은 우리의 프레임워크가 우수한 성능과 유망한 일반화 능력을 가지고 있음을 검증하였습니다.모든 코드, 데이터 및 모델은 미래의 생성형 물리 AI 연구를 촉진하기 위해 공개될 예정입니다.