실제 세계의 롤링 셔터 보정을 위한 적응형 왜곡 학습

본 논문은 실세계에서의 롤링 셔터(RS) 왜곡을 보정할 수 있는 최초의 데이터셋인 BS-RSC와 이를 위한 보정 모델을 제안한다. 소비자 시장에서 일반적으로 사용되는 CMOS 기반 센서를 갖춘 모바일 장치는 영상 촬영 중 상대적인 운동이 발생할 경우 롤링 셔터 효과를 유발하게 되며, 이에 따라 실세계에서의 RS 왜곡 제거 기술의 필요성이 대두된다. 그러나 기존 최첨단 RS 보정 기법들은 실제 시나리오에서 다양한 움직임이 존재하고 이를 정확히 모델링하기 어려운 점으로 인해 종종 성능이 저하된다. 이러한 문제를 해결하기 위해, 본 연구는 실세계 환경에서의 RS 보정을 위한 데이터셋 BS-RSC를 제안한다. 본 데이터셋은 특수 설계된 비트 스플리터 기반 촬영 시스템을 통해 실제 왜곡된 영상과 해당하는 정답(ground truth) 영상을 동시에 기록함으로써 구성되었다. BS-RSC는 동적 장면에서 카메라와 객체가 겪는 다양한 종류의 움직임을 포함하고 있다. 또한, 적응형 왜곡(adaptive warping)을 갖춘 RS 보정 모델을 제안한다. 제안된 모델은 예측된 다중 이동장(multiple displacement fields)을 기반으로 학습된 RS 특징을 적응적으로 글로벌 셔터 형태로 왜곡하여, 이를 계층적으로(코어스 투 파인, coarse-to-fine) 통합하고 고품질의 글로벌 셔터 영상으로 재구성한다. 실험 결과를 통해 제안된 방법의 효과성을 입증하였으며, BS-RSC 데이터셋은 실제 환경에서의 RS 왜곡 제거 능력을 모델의 성능 향상에 기여함을 보였다.