초록
우리는 롤링 셔터 효과 보정을 위한 새로운 네트워크를 제안한다. 본 네트워크는 연속된 두 장의 롤링 셔터 이미지를 입력으로 받아, 최신 프레임에 해당하는 글로벌 셔터 이미지를 추정한다. 롤링 셔터 이미지에서 해당 글로벌 셔터 이미지로의 밀집된 변위 필드는 운동 추정 네트워크를 통해 추정된다. 이후, 롤링 셔터 이미지의 학습된 특징 표현은 이 변위 필드를 기반으로 미분 가능한 전방 왜곡 블록을 통해 글로벌 셔터 표현으로 왜곡된다. 왜곡된 특징 표현을 기반으로 이미지 디코더가 글로벌 셔터 이미지를 복원한다. 제안한 네트워크는 엔드 투 엔드로 훈련 가능하며, 감독에 필요한 것은 단지 글로벌 셔터 이미지뿐이다. 공개된 데이터셋이 존재하지 않기 때문에, 본 연구에서는 두 가지 대규모 데이터셋인 Carla-RS 데이터셋과 Fastec-RS 데이터셋을 제안한다. 실험 결과, 제안한 네트워크가 기존 최고 성능 기법들을 능가함을 보여준다. 코드 및 데이터셋은 https://github.com/ethliup/DeepUnrollNet 에 공개되어 있다.