비디오 복원을 위한 절단된 인과 역사 모델 학습

비디오 복원의 주요 과제 중 하나는 움직임에 의해 지배되는 비디오 프레임의 전이 동역학을 모델링하는 것이다. 본 연구에서는 효율적이고 성능이 뛰어난 비디오 복원을 위해 절단된 인과 관계 역사를 학습하는 TURTLE(Tuncated cUsual Recurrent TRansition LEarning) 모델을 제안한다. 기존 방법들과 달리 TURTLE은 문맥 프레임들을 병렬로 처리하지 않고, 입력 프레임 잠재 표현의 절단된 역사 정보를 진화하는 역사 상태로 저장하고 요약하여 효율성을 향상시킨다. 이는 프레임 간 움직임과 정렬을 암시적으로 고려하는 정교한 유사성 기반 검색 메커니즘을 통해 이루어진다. TURTLE의 인과 관계 설계는 상태 기억형 역사적 특징을 통해 추론 시 재귀를 가능하게 하면서, 절단된 비디오 클립 샘플링을 통해 병렬 학습을 허용한다. 우리는 비디오 제설, 야간 비디오 제우, 비디오 빗방울 및 빗줄기 제거, 비디오 초해상도, 실제 및 합성 비디오 디블러링, 그리고 무감독 비디오 노이즈 제거 등 다양한 비디오 복원 벤치마크 작업에서 새로운 최고 수준의 결과를 보고하며, 이러한 모든 작업에서 기존 최고 문맥 방법보다 계산 비용을 줄였다.