효율적인 롤링 셔터 보정을 위한 공동 외형 및 운동 학습

롤링 셔터 보정(Rolling Shutter Correction, RSC)은 상업적 및 산업적 응용 분야에서 널리 사용되는 RS 카메라에 대해 점점 더 인기를 끌고 있다. 비록 기대되는 성능을 보이고 있지만, 기존의 RSC 기법들은 일반적으로 상호작용을 무시하는 두 단계 네트워크 구조를 사용하여 빠른 추론을 방해한다. 본 논문에서는 효율적인 RSC를 위한 단일 단계 인코더-디코더 기반의 신경망인 JAMNet을 제안한다. JAMNet은 연속적인 RS 입력으로부터 피라미드 특징을 추출한 후, 공동 학습 디코더를 통해 전역 셔터 이미지와 왜곡 해소 운동장이라는 두 가지 보완적인 정보를 동시에 개선함으로써 서로 보완적인 관계를 형성한다. 공동 학습을 효과적으로 유도하기 위해, 트랜스포머 기반의 운동 임베딩 모듈을 도입하고, 피라미드 계층 간에 은닉 상태를 전달하는 전략을 제안한다. 또한, RSC 데이터셋의 잠재력을 극대화하기 위해 새로운 데이터 증강 전략인 "수직 반전 + 역순서"를 제안한다. 다양한 벤치마크에서의 실험 결과, 제안하는 방법은 기존 최고 성능 기법들을 크게 앞서며, 실제 RSC 데이터셋에서 PSNR가 4.7 dB나 향상되는 결과를 보였다. 코드는 https://github.com/GitCVfb/JAMNet 에 공개되어 있다.