2달 전

롤링 셔터 보정과 중간 왜곡 흐름 추정

Mingdeng Cao; Sidi Yang; Yujiu Yang; Yinqiang Zheng
롤링 셔터 보정과 중간 왜곡 흐름 추정
초록

본 논문은 전역 셔터(GS)에서 롤링 셔터(RS)로 직접 왜곡 흐름을 추정하여 RS로 인한 왜곡된 이미지를 교정하는 방법을 제안합니다. 기존 방법들은 일반적으로 RS에서 GS로의 왜곡 해제 흐름을 사용하여 교정을 수행합니다. 이들은 먼저 연속적인 RS 프레임들로부터 흐름을 예측한 후, 시간에 따라 변하는 스케일링 요인들을 사용하여 이 흐름을 RS 프레임에서 기본 GS 이미지까지의 변위 필드로 재스케일링합니다. 그 다음, RS 인식 전방 워핑이 적용되어 RS 이미지를 GS 이미지로 변환합니다. 그러나 이 전략은 두 가지 단점이 있습니다. 첫째, 복잡한 비선형 운동 특성 때문에 단순히 선형으로 흐름을 스케일링하면 왜곡 해제 흐름 추정이 정확하지 않아집니다. 둘째, RS 인식 전방 워핑은 불가피하게 아티팩트를 발생시키는 경향이 있습니다. 이러한 한계를 해결하기 위해, 우리는 왜곡 흐름을 직접 추정하고 역방향 워핑 연산으로 RS 이미지를 수정하는 새로운 프레임워크를 소개합니다. 구체적으로, 우리는 초기 왜곡 흐름과 GS 특성을 동시에 추정하기 위한 글로벌 상관관계 기반의 흐름 주의 메커니즘을 제안하며, 이를 후속 조건부 세밀화 디코더 레이어들에 의해 개선시킵니다. 또한, 더 정확한 흐름 추정 문제를 완화하기 위해 다중 왜곡 흐름 예측 전략도 통합되었습니다. 실험 결과는 제안된 방법의 효과성을 검증하며, 다양한 벤치마크에서 최신 접근법들을 능가하면서도 높은 효율성을 유지함을 보여줍니다. 본 프로젝트는 \url{https://github.com/ljzycmd/DFRSC}에서 확인할 수 있습니다.

롤링 셔터 보정과 중간 왜곡 흐름 추정 | 최신 연구 논문 | HyperAI초신경