PointGPT: 포인트 클라우드에서 자동 회귀적으로 생성적 사전 학습하기

대규모 언어 모델(LLM)은 생성적 사전 훈련 트랜스포머(GPT)를 기반으로 다양한 하위 작업에서 뛰어난 효과를 보여주었습니다. GPT의 발전에 영감을 받아, 우리는 점군(점 클라우드)의 무질서한 특성, 낮은 정보 밀도, 그리고 작업 간극과 관련된 문제들을 해결하기 위해 GPT 개념을 점군으로 확장한 새로운 접근 방식인 PointGPT를 제시합니다. 구체적으로, 점군 자동 회귀 생성 작업을 제안하여 트랜스포머 모델의 사전 훈련을 수행합니다. 우리의 방법은 입력 점군을 여러 개의 점 패치로 분할하고, 이들의 공간적 근접성을 기준으로 순서대로 배열합니다. 그런 다음, 쌍방 마스킹 전략을 사용하는 추출기-생성기 기반 트랜스포머 디코더가 앞선 점 패치들에 조건부로 잠재 표현을 학습하여 자동 회귀 방식으로 다음 패치를 예측하도록 학습합니다. 우리의 확장 가능한 접근 방식은 고용량 모델을 학습하여 잘 일반화되도록 하고, 다양한 하위 작업에서 최고 수준의 성능을 달성합니다. 특히, ModelNet40 데이터셋에서는 94.9%의 분류 정확도를, ScanObjectNN 데이터셋에서는 93.4%의 분류 정확도를 달성하여 모든 다른 트랜스포머 모델들을 능가하였습니다. 또한, 우리의 방법은 네 가지 소수 샘플 학습 벤치마크에서 새로운 최고 수준의 정확도를 달성하였습니다.