CSDN: 점군 복원을 위한 다중모달 형태 전이 이중 개선 네트워크

물리적 객체에 손상이 생겼을 때 어떻게 복원할 것인가? 아마도 이전에 캡처한 이미지들을 바탕으로 원래의 형태를 상상하고, 먼저 전체적인(글로벌한) 그러나 거친 형태를 복원한 후, 이후에 국소적인 세부 사항을 정밀하게 보완할 것이다. 우리는 이러한 물리적 복원 절차를 모방하여 포인트 클라우드 완성 문제를 해결하고자 한다. 이를 위해 우리는 이미지의 전체 사이클 참여를 포함한 거친 형태에서 세밀한 형태로의 복원 프레임워크인 ‘크로스모달 형태 전이 이중 정밀화 네트워크(CSDN: Cross-modal Shape-transfer Dual-refinement Network)’를 제안한다. CSDN은 주로 ‘형태 융합’과 ‘이중 정밀화’ 모듈로 구성되어 있으며, 크로스모달 문제를 해결하는 데 중점을 둔다. 첫 번째 모듈은 단일 이미지로부터 내재적인 형태 특성을 전달하여 포인트 클라우드의 손실된 영역의 기하 구조 생성을 안내한다. 이 과정에서 이미지와 부분적인 포인트 클라우드의 글로벌 특징을 완성 과정에 통합하기 위해 IPAdaIN 기법을 제안한다. 두 번째 모듈은 생성된 포인트들의 위치를 조정함으로써 거친 출력을 정밀화한다. 국소 정밀화 유닛은 그래프 컨볼루션을 활용해 생성된 포인트와 입력 포인트 간의 기하학적 관계를 탐색하고, 글로벌 제약 유닛은 입력 이미지를 활용하여 생성된 오프셋을 보정한다. 기존 대부분의 접근 방식과 달리, CSDN은 이미지에서 얻은 보완적 정보를 탐색하는 것뿐만 아니라, 거친 형태에서 세밀한 형태로의 완성 과정 전반에 걸쳐 크로스모달 데이터를 효과적으로 활용한다. 실험 결과, CSDN은 크로스모달 벤치마크에서 10개의 경쟁 기법과 비교하여 우수한 성능을 보였다.