MeshCoder: 점군에서 LLM 기반의 구조화된 메시 코드 생성

3D 객체를 편집 가능한 프로그램으로 재구성하는 것은 역설계 및 형태 편집과 같은 응용 분야에서 핵심적인 요소이다. 그러나 기존의 방법들은 제한된 도메인 특화 언어(DSL, Domain-Specific Languages)와 소규모 데이터셋에 의존하는 경우가 많아, 복잡한 기하 구조와 구조를 모델링하는 데 한계가 있다. 이러한 문제를 해결하기 위해 본 연구에서는 점군(point clouds)에서 복잡한 3D 객체를 편집 가능한 Blender 파이썬 스크립트로 재구성하는 새로운 프레임워크인 MeshCoder를 제안한다. 우리는 복잡한 기하 구조를 합성할 수 있는 표현력이 풍부한 Blender 파이썬 API들을 체계적으로 개발하였으며, 이러한 API들을 기반으로 각 객체의 코드를 의미적 부분으로 분해한 대규모 쌍체 데이터셋을 구축하였다. 이후, 3D 점군을 실행 가능한 Blender 파이썬 스크립트로 변환할 수 있는 다모달 대규모 언어 모델(LLM, Large Language Model)을 학습시켰다. 본 방법은 형태-코드 재구성 작업에서 뛰어난 성능을 달성할 뿐만 아니라, 코드 수정을 통해 직관적인 기하학적 및 위상적 편집이 가능하게 한다. 더불어, 코드 기반 표현 방식은 LLM이 3D 형태 이해 작업에서의 추론 능력을 향상시킨다. 이러한 기여들을 종합하면, MeshCoder는 프로그래머블한 3D 형태 재구성 및 이해를 위한 강력하고 유연한 솔루션으로 자리매김할 수 있다.