2달 전

곡률 안내 동적 스케일 네트워크를 이용한 다중 시점 입체 재구성

Khang Truong Giang; Soohwan Song; Sungho Jo
곡률 안내 동적 스케일 네트워크를 이용한 다중 시점 입체 재구성
초록

다중 시점 스테레오(Multi-view stereo, MVS)는 정밀한 3차원 재구성에 있어 중요한 작업입니다. 최근의 대부분 연구들은 MVS에서 매칭 비용 체적(matching cost volume)의 성능을 개선하기 위해 집계된 3D 비용 체적과 그 정규화(regularization)를 설계하는 데 주력했습니다. 본 논문은 다른 단계에서 중량적인 계산 없이 매칭 비용의 성능을 향상시키기 위한 강건한 특징 추출 네트워크를 학습하는 데 초점을 맞추고 있습니다. 특히, 우리는 동적 스케일 특징 추출 네트워크인 CDSFNet을 제안합니다. 이 네트워크는 이미지 표면의 법선 곡률(normal curvature)에 의해 각 픽셀마다 적절한 패치 스케일(patch scale)을 선택할 수 있는 여러 가지 새로운 컨볼루션 층으로 구성되어 있습니다. 결과적으로, CDSFNet은 참조 이미지와 원본 이미지 간의 정확한 매칭 계산을 위해 차별화된 특징을 학습하기 위한 최적의 패치 스케일을 추정할 수 있습니다. 강건하게 추출된 특징과 적절한 비용 공식화 전략(cost formulation strategy)을 결합함으로써, 우리의 MVS 아키텍처는 더 정확한 깊이 맵(depth map)을 추정할 수 있습니다. 광범위한 실험 결과, 제안된 방법이 복잡한 실외 장면에서 다른 최신 기법들보다 우수하다는 것이 확인되었습니다. 이 방법은 재구성 모델의 완전성을 크게 향상시킵니다. 따라서, 다른 MVS 방법들보다 더 높은 해상도 입력을 더 빠른 실행 시간과 낮은 메모리로 처리할 수 있습니다. 우리의 소스 코드는 url{https://github.com/TruongKhang/cds-mvsnet}에서 이용 가능합니다.

곡률 안내 동적 스케일 네트워크를 이용한 다중 시점 입체 재구성 | 최신 연구 논문 | HyperAI초신경