PMP-Net++: Transformer 기반 다단계 점 이동 경로를 활용한 포인트 클라우드 보완

포인트 클라우드 보완(Point cloud completion)은 불완전한 3D 형태의 누락된 부분을 예측하는 문제를 다룬다. 일반적인 전략은 불완전한 입력을 기반으로 완전한 형태를 생성하는 것이다. 그러나 포인트 클라우드의 순서 없음(ordered nature)은 고품질 3D 형태 생성을 저해하는 요인으로 작용한다. 특히, 추출된 잠재 코드(latent code)를 활용한 생성 과정에서 순서 없는 점들의 세부적인 위상 구조(topology)와 구조적 특성을 정확히 포착하기가 어렵기 때문이다. 본 연구에서는 이 문제를 포인트 클라우드 변형(deformation) 과정으로 재정의함으로써 해결한다. 구체적으로, 지구 이동자(earth mover)의 행동을 모방하는 새로운 신경망인 PMP-Net++을 제안한다. 이 네트워크는 불완전한 입력의 각 점을 이동시켜 완전한 포인트 클라우드를 생성하며, 모든 점의 이동 경로(PMP: Point Moving Paths)의 총 거리가 최소가 되도록 설계된다. 따라서 PMP-Net++은 점 이동 거리에 대한 제약 조건을 기반으로 각 점에 대해 고유한 PMP를 예측한다. 이로 인해 네트워크는 포인트 수준에서 엄격하고 고유한 대응 관계를 학습하게 되며, 결과적으로 예측된 완전한 형태의 품질이 향상된다. 또한, 점 이동 과정이 네트워크가 학습한 각 점의 특성에 크게 의존하므로, 성능을 더욱 향상시키기 위해 트랜스포머 기반의 표현 학습 네트워크를 추가로 도입하였다. 이는 PMP-Net++의 보완 성능을 크게 개선한다. 다양한 형태 보완 실험을 수행하였으며, 포인트 클라우드 업샘플링(up-sampling) 응용까지 탐색한 결과, 기존 최고 수준의 포인트 클라우드 보완/업샘플링 기법들에 비해 PMP-Net++이 의미 있는 성능 향상을 보임을 입증하였다.