SegStereo: 의미 정보를 활용한 디스파리티 추정

이진 스테레오 이미지의 불일치 추정은 다양한 응용 분야에서 활용됩니다. 전통적인 알고리즘은 특징이 없는 영역에서 실패할 수 있으며, 이러한 문제는 의미 세그먼트와 같은 고급 힌트를 통해 해결될 수 있습니다. 본 논문에서는 의미 힌트를 적절히 통합하면 일반적으로 사용되는 불일치 추정 프레임워크에서 예측을 크게 개선할 수 있음을 제안합니다. 우리의 방법은 의미 특성 임베딩을 수행하고, 의미 힌트를 손실 항으로 정규화하여 불일치 학습을 개선합니다. 통합 모델인 SegStereo는 세그먼테이션에서 얻은 의미 특성을 활용하며, 의미 소프트맥스 손실을 도입하여 불일치 맵의 예측 정확도를 높이는 데 도움을 줍니다. 의미 힌트는 비지도 및 지도 방식 모두에서 효과적으로 작동합니다. SegStereo는 KITTI 스테레오 벤치마크에서 최고 수준의 결과를 달성하였으며, CityScapes와 FlyingThings3D 데이터셋에서도 우수한 예측 성능을 보여주었습니다.