가상 다중 시점 융합을 통한 3D 세밀 분할

3D 메시의 의미 분할은 3D 장면 이해에 있어 중요한 문제이다. 본 논문에서는 3D 메시의 고전적인 다중 시점 표현을 재검토하고, 메시의 3D 의미 분할에 효과적인 여러 기법을 탐구한다. RGBD 센서로부터 재구성된 3D 메시를 기반으로, 본 방법은 메시의 다양한 가상 시점을 효과적으로 선택하고, 이를 통해 학습을 위한 다수의 2D 채널을 렌더링한다. 이는 효과적인 2D 의미 분할 모델을 훈련하는 데 기여한다. 이후 각 시점별 예측에서 얻은 특징들을 3D 메시의 꼭짓점에서 융합하여 메시의 의미 분할 레이블을 예측한다. 대규모 실내 3D 의미 분할 벤치마크인 ScanNet을 사용하여, 본 연구에서 제안하는 가상 시점 기법이 기존의 다중 시점 접근법보다 2D 의미 분할 네트워크의 훈련을 더 효과적으로 가능하게 함을 보였다. 또한, 2D 픽셀 단위 예측을 3D 표면에 집계할 때, 본 연구의 가상 다중 시점 융합 방법은 기존의 모든 다중 시점 접근법보다 훨씬 우수한 3D 의미 분할 성능을 달성하였으며, 최신 3D 컨볼루션 기반 접근법과 경쟁 가능한 성능을 보였다.