18일 전

거대한 병렬 다중 시점 입체시각화를 통한 표면 법선 확산

{Silvano Galliani, Katrin Lasinger, Konrad Schindler}
거대한 병렬 다중 시점 입체시각화를 통한 표면 법선 확산
초록

우리는 고품질 다중 시점 매칭을 위한 새로운 대규모 병렬 방법을 제안한다. 본 연구는 Patchmatch 아이디어를 기반으로 하며, 장면 공간 내에서 무작위로 생성된 3D 평면에서 출발하여, 최적의 적합 평면을 반복적으로 전파하고 개선함으로써 각 시점에 대해 3D 깊이 및 법선 필드를 도출한다. 이 과정에서 모든 이미지에 걸쳐 강력한 광학 일관성 측정값을 최대화하는 것이 목표이다. 본 연구의 주요 기여점은 다음과 같다. 첫째, Patchmatch를 장면 공간 내에서 수식화함으로써 다중 시점 간의 이미지 유사도를 효과적으로 통합할 수 있게 되었으며, 이는 더 정확한 깊이 맵을 얻는 데 기여한다. 둘째, 대규모 병렬 처리가 가능한 수정된 확산 유사 전파 방식을 도입하여, 소비자용 GPU에서 10장의 1.9메가픽셀 이미지에 대해 3초 내에 밀도 높은 다중 시점 대응 관계를 생성할 수 있다. 본 방법은 기울어진 지원 창(슬랜티드 지원 윈도우)을 사용하므로 전면 평행 편향이 없으며, 완전히 국소적이고 병렬적인 구조를 가지므로 계산 시간이 이미지 크기에 선형적으로 증가하고, 병렬 스레드 수에 반비례한다. 또한 메모리 사용량이 매우 낮으며(픽셀당 4개의 값, 깊이 범위와 무관), 이로 인해 매우 우수한 스케일링 성능을 발휘하며 고해상도에서 여러 대규모 이미지를 동시에 처리할 수 있다. DTU 및 Middlebury 다중 시점 데이터셋, 그리고 기울어진 항공 이미지에 대한 실험 결과를 통해, 다양한 시나리오에서 높은 정확도와 완전성을 갖춘 매우 경쟁력 있는 성능을 입증하였다.