IMFNet: 포인트 클라우드 등록을 위한 해석 가능한 다중모달 융합

기존의 최첨단 점 기술자(point descriptor)는 구조 정보에만 의존하여 텍스처 정보를 무시한다. 그러나 인간이 장면의 특정 부분을 구분하는 데 있어 텍스처 정보는 매우 중요한 역할을 한다. 더불어 현재의 학습 기반 점 기술자는 모두 투명한 블랙박스 형태로, 원본 점들이 최종 기술자에 어떻게 기여하는지 명확히 설명되지 않는다. 본 논문에서는 구조 정보와 텍스처 정보를 동시에 고려하여 포인트 클라우드 등록 기술자를 생성하기 위한 새로운 다중 모달 융합 방법을 제안한다. 구체적으로, 기술자 추출을 위해 가중된 텍스처 정보를 추출하기 위해 새로운 어텐션-융합 모듈을 설계하였다. 또한, 원본 점들이 최종 기술자에 기여하는 방식을 설명 가능한 모듈을 제안하였다. 본 논문에서는 기술자 요소를 손실 함수로 사용하여 타겟 레이어로 역전파하고, 그 기울기를 해당 점이 최종 기술자에 미치는 중요도로 해석함으로써, 등록 작업에서 설명 가능한 딥러닝에 한 걸음 더 나아갔다. 3DMatch, 3DLoMatch 및 KITTI에서 실시한 종합적인 실험을 통해, 다중 모달 융합 기술자가 최첨단 정확도를 달성하며 기술자의 구별 능력을 향상시켰음을 입증하였다. 또한, 본 연구에서 제안한 설명 가능한 모듈이 등록 기술자 추출 과정을 해석하는 데 효과적임을 실험적으로 확인하였다.