초록
본 논문에서는 보조 이미지를 기반으로 한 포인트 클라우드 보완(point cloud completion)이라는 최신 주제를 탐구한다. 우리는 두 가지 모달리티(포인트 클라우드와 이미지)의 정보를 국소화된 잠재 공간(localized latent space)에서 효과적으로 통합할 수 있음을 보여주며, 최신 기술에서 사용하는 단일 시점에서의 복잡한 포인트 클라우드 재구성 방법을 피할 수 있음을 입증한다. 또한, 완성된 포인트 클라우드에 대해 미분 가능한 렌더러(differentiable renderer)를 적용하여 이미지 공간에서의 충실도(fidelity)를 측정함으로써 보조 이미지가 학습 과정에 감독 신호를 제공하는 새로운 약한 감독(weakly-supervised) 설정을 탐구한다. 실험 결과, 단일 모달 및 다중 모달 보완 모두에서 최신의 감독 학습 방법들에 비해 상당한 성능 향상을 보였다. 또한, 약한 감독 접근법의 효과성을 입증하였으며, 이는 여러 감독 학습 방법을 능가하고, 오직 포인트 클라우드 정보만을 활용하는 최신 감독 모델들과 경쟁 가능한 성능을 보였다.