AA-RMVSNet: 적응형 집계 순환 다중 시점 스테레오 네트워크

본 논문에서는 장단기 기억(LSTM)을 기반으로 한 새로운 재귀적 다중 시점 스테레오 네트워크인 적응적 집계를 적용한 RMVSNet, 즉 AA-RMVSNet을 제시합니다. 먼저, 컨텍스트 인식 합성곱과 다중 스케일 집계를 사용하여 이미지 특성을 적응적으로 추출하는 시점 내 집계 모듈을 소개합니다. 이 모듈은 얇은 물체와 큰 저질감면 표면 등 어려운 영역에서 성능을 효율적으로 향상시키는 데 도움이 됩니다. 복잡한 장면에서 가변적인 가림 현상을 극복하기 위해, 모든 시점 간의 더 나은 매칭 쌍을 보존할 수 있는 시점 간 비용 체적 집계 모듈을 제안합니다. 이 모듈은 픽셀 단위로 적응적으로 시점을 집계합니다. 제안된 두 가지 적응적 집계 모듈은 경량화되어 있으며, 효과적이며 상호 보완적이어서 3D 재구성의 정확성과 완전성을 개선하는 데 기여합니다. 전통적인 3D CNN 대신, 비용 체적 규제에 재귀 구조를 활용한 하이브리드 네트워크를 사용하여 고해상도 재구성과 더 세밀한 가정 평면 스윕이 가능하도록 합니다. 제안된 네트워크는 엔드투엔드 방식으로 학습되며 다양한 데이터셋에서 우수한 성능을 보입니다. 탱크 앤 템플 벤치마크에서 모든 제출작 중 1위를 차지했으며 DTU 데이터셋에서도 경쟁력 있는 결과를 달성했습니다. 이는 강력한 일반화 능력과 견고함을 입증하고 있습니다. 본 방법의 구현은 https://github.com/QT-Zhu/AA-RMVSNet에서 제공됩니다.