초록
현대 소비자용 카메라의 대부분은 롤링 셔터 메커니즘을 사용하고 있으며, 이미지 촬영 중 카메라가 움직일 경우 이미지 왜곡이 발생한다. 본 논문에서는 두 개의 연속 프레임을 기반으로 일반적인 롤링 셔터 보정 문제를 해결하기 위한 새로운 딥 네트워크를 제안한다. 제안하는 파이프라인은 두 프레임 사이의 중간 시점에 해당하는 글로벌 셔터 이미지를 대칭적으로 예측하도록 설계되어 있으며, 이는 기존 방법이 해결하기 어려운 부분이다. 왜냐하면 이 중간 시점의 카메라 자세는 두 프레임과 가장 다를 수 있기 때문이다. 먼저, 계층적 구조, 왜곡(워핑), 그리고 비용 볼륨 처리와 같은 잘 정립된 원리를 활용하여 시간 대칭적인 밀도 높은 왜곡 해제 흐름을 추정한다. 이후, 각각의 롤링 셔터 이미지를 특징 공간에서 공통된 글로벌 셔터 이미지로 왜곡하여 변환한다. 마지막으로, 이미지 디코더 내부에 대칭적 일관성 제약 조건을 도입하여 두 롤링 셔터 이미지의 문맥적 정보를 효과적으로 통합함으로써 고품질의 글로벌 셔터 이미지를 복원한다. 공개 벤치마크에서 제공하는 합성 데이터 및 실제 데이터를 활용한 광범위한 실험 결과는 제안하는 방법이 기존 최고 수준의 기법들보다 우수함을 입증한다.