2달 전

다중 시점 스테레오 표현 재검토: 영역 인식 MVSNet

Yisu Zhang; Jianke Zhu; Lixiang Lin
다중 시점 스테레오 표현 재검토: 영역 인식 MVSNet
초록

딥 러닝 기반 다중 시점 스테레오가 다중 시점에서 완전하고 기하학적으로 상세한 객체를 재구성하기 위한 강력한 패러다임으로 부상하고 있습니다. 기존의 대부분 접근 방식은 예측된 점과 광선-표면 교차점 사이의 간격을 최소화하여 픽셀 단위 깊이 값을 추정하는데, 이는 일반적으로 표면 위상을 무시합니다. 이로 인해 텍스처가 없는 영역과 표면 경계가 제대로 재구성되지 않는 문제가 발생합니다. 이러한 문제를 해결하기 위해, 우리는 점-표면 거리를 활용하는 것을 제안합니다. 이를 통해 모델이 더 넓은 범위의 표면을 인식할 수 있도록 합니다. 이를 위해, 비용 체적(cost volume)에서 거리 체적(distance volume)을 예측하여 표면 주변의 점들의 부호 거리를 추정합니다. 우리 제안하는 RA-MVSNet은 패치에 인지적인(patch-aware) 모델입니다. 가설적인 평면을 표면 패치와 연관시키므로 인지 범위가 확대됩니다. 따라서, 이는 텍스처가 없는 영역의 완성도를 높이고 경계부의 이상치(outliers)를 줄일 수 있습니다. 또한, 도입된 거리 체적을 통해 미세한 세부 정보를 갖춘 메시 위상(mesh topologies)을 생성할 수 있습니다. 기존의 딥 러닝 기반 다중 시점 스테레오 방법들과 비교했을 때, 우리 제안하는 RA-MVSNet 접근 방식은 부호 거리 감독(signed distance supervision)을 활용함으로써 더 완전한 재구성 결과를 얻습니다. DTU와 탱크 앤 템플(Tanks & Temples) 데이터셋에 대한 실험 결과, 우리 제안 방식이 최신 연구 결과(state-of-the-art results)를 달성함을 보여주고 있습니다.