AdaPoinTr: 적응형 기하 인지 트랜스포머를 활용한 다각적인 포인트 클라우드 완성

본 논문에서는 포인트 클라우드 완성 문제를 집합에서 집합으로의 번역 문제로 재정의하는 새로운 방법을 제안하며, 포인트 클라우드 완성에 적합한 새로운 모델인 PoinTr를 설계한다. PoinTr는 Transformer 인코더-디코더 아키텍처를 채택하여, 포인트 클라우드를 위치 임베딩을 갖춘 순서 없는 포인트 그룹의 집합으로 표현함으로써 입력 데이터를 포인트 프록시의 시퀀스로 변환하고, Transformer를 활용하여 포인트 클라우드를 생성한다. 포인트 클라우드의 3차원 기하 구조에 대한 인도크티브 바이어스를 Transformer가 보다 효과적으로 활용할 수 있도록 하기 위해, 국부적 기하 관계를 명시적으로 모델링하는 기하 인지 블록을 추가로 설계하였다. 이러한 Transformer의 적용은 모델이 구조적 지식을 더 잘 학습하고 세부 정보를 효과적으로 보존할 수 있도록 한다. 더욱 복잡하고 다양한 상황을 고려하기 위해, 포인트 클라우드 완성 과정 중에 적응형 쿼리 생성 메커니즘을 도입하고 새로운 노이즈 제거(데노이징) 작업을 설계함으로써 AdaPoinTr를 제안한다. 이 두 기술을 결합함으로써 모델의 효율적이고 효과적인 학습이 가능해졌으며, 학습 시간을 15배 이상 단축시키고 완성 성능을 20% 이상 향상시켰다. 또한, 새로운 기하 강화형 의미 기반 장면 완성 프레임워크를 설계함으로써 본 방법이 장면 수준의 포인트 클라우드 완성 시나리오로도 확장 가능함을 보였다. 기존 및 새로 제안된 데이터셋을 대상으로 실시한 광범위한 실험 결과는 본 방법의 우수성을 입증하며, PCN에서는 6.53 CD, ShapeNet-55에서는 0.81 CD, 실세계 KITTI에서는 0.392 MMD를 달성하여 기존의 모든 방법을 크게 앞서며 다양한 벤치마크에서 새로운 최고 성능(SOTA)을 수립하였다. 특히, 기존 최고 성능 방법들과 비교하여 AdaPoinTr는 더 높은 처리 속도와 더 적은 FLOPs로도 탁월한 성능을 달성할 수 있음을 확인하였다. 코드 및 데이터셋은 https://github.com/yuxumin/PoinTr 에 공개되어 있다.