초록
공동 롤링 셔터 보정 및 디블러링(RSCD) 기법은 보편적으로 사용되는 CMOS 카메라에 있어 핵심적인 요소이다. 그러나 현재까지의 접근 방식은 여전히 전통적인 에너지 최적화 기반이며 정적 장면을 대상으로 개발되었다. 실세계의 RSCD 문제를 학습 기반 접근법으로 해결할 수 있도록 하기 위해, 우리는 동적 장면에서 자가 운동(ego-motion)과 물체 운동(object-motion)을 모두 포함한 최초의 데이터셋인 BS-RSCD를 제안한다. 이 데이터셋은 빔 스플리터 기반의 촬영 시스템을 활용하여 왜곡되고 흐릿한 실제 영상과 그에 대응하는 정답(ground truth) 영상을 동시에 기록하였다.기존의 개별 롤링 셔터 보정(RSC) 또는 글로벌 셔터 디블러링(GSD) 방법을 RSCD에 직접 적용할 경우, 네트워크 아키텍처의 본질적인 한계로 인해 바람직하지 않은 결과가 발생하므로, 우리는 RSCD를 위한 최초의 학습 기반 모델인 JCD를 제안한다. 주요 아이디어는 이동 보정을 위해 양방향 왜곡 스트림(bi-directional warping streams)을 도입하면서도, 세부 정보 복원을 위해 왜곡되지 않은 디블러링 스트림을 유지하는 것이다. 실험 결과, JCD는 현실적인 RSCD 데이터셋(BS-RSCD)과 합성 RSC 데이터셋(Fastec-RS)에서 최신 기술 수준의 성능을 달성하였다. 관련 데이터셋과 코드는 https://github.com/zzh-tech/RSCD 에서 공개되어 있다.