서로 강화되는 스테레오 이미지 초해상도 및 시차 추정을 위한 피드백 네트워크

스테레오 설정 하에서 이미지 초해상화(SR)와 시차 추정 문제는 서로 밀접하게 관련되어 있어 각각의 결과가 다른 문제를 해결하는 데 도움을 줄 수 있다. 서로 다른 뷰 간의 대응 관계를 효과적으로 활용하면 SR 성능이 향상되고, 더 풍부한 세부 정보를 포함하는 고해상도(HR) 특징은 대응 추정에 유리하다. 이러한 동기를 바탕으로, 우리는 스테레오 이미지 초해상화와 시차 추정을 통합된 프레임워크에서 동시에 처리하고, 두 문제 사이의 상호작용을 통해 성능을 더욱 개선할 수 있는 스테레오 초해상화 및 시차 추정 피드백 네트워크(SSRDE-FNet)를 제안한다. 구체적으로, SSRDE-FNet은 왼쪽과 오른쪽 뷰를 위한 두 개의 쌍방향 재귀 서브네트워크로 구성된다. 저해상도(LR) 공간에서의 크로스뷰 정보 활용뿐만 아니라, SR 과정에서 생성된 HR 표현은 더 정확한 HR 시차 추정을 수행하여 HR 특징을 집계하여 더욱 섬세한 SR 결과를 생성할 수 있다. 이후 제안된 HR 시차 정보 피드백(HRDIF) 메커니즘은 HR 시차가 이전 계층으로 되돌아가는 정보를 전달하여 SR 이미지 재구성을 더욱 개선한다. 광범위한 실험을 통해 SSRDE-FNet의 유효성과 우수성이 입증되었다.