학습된 시차 주의력을 이용한 스테레오 이미지 초해상화

스테레오 이미지 쌍은 두 번째 시점에서 제공되는 추가 정보를 통해 초해상도(Super-Resolution, SR) 성능을 향상시키는 데 사용될 수 있습니다. 그러나 스테레오 이미지 간의 차이가 크게 다르기 때문에 이 정보를 초해상도에 통합하는 것은 어려운 문제입니다. 본 논문에서는 스테레오 이미지 쌍에서 정보를 통합하기 위한 패러랙스 주의 메커니즘을 적용한 스테레오 초해상도 네트워크(PARALLAX-ATTENTION STEREO SUPER-RESOLUTION NETWORK, PASSRnet)를 제안합니다. 특히, 에피폴라 선을 따라 전역 수용 영역을 갖는 패러랙스 주의 메커니즘을 도입하여 큰 차이 변화가 있는 다양한 스테레오 이미지를 처리할 수 있도록 하였습니다. 또한, 스테레오 이미지 초해상도를 위한 새로운 그리고 가장 큰 데이터셋(Flickr1024)을 제안합니다. 광범위한 실험 결과는 패러랙스 주의 메커니즘이 적은 계산 및 메모리 비용으로 스테레오 이미지 간의 대응 관계를 포착하여 초해상도 성능을 향상시킬 수 있음을 보여줍니다. 비교 실험 결과는 우리의 PASSRnet이 Middlebury, KITTI 2012 및 KITTI 2015 데이터셋에서 최고의 성능을 달성함을 입증합니다.