비감독형 플로-정렬 시퀀스-투-시퀀스 학습을 통한 영상 복원

비디오 복원(VR) 분야에서 비디오 시퀀스 내 프레임 간 관계를 적절히 모델링하는 것은 중요한 과제이지만 여전히 해결되지 않은 문제이다. 본 연구에서는 이 문제를 해결하기 위해 비지도 흐름 정렬 시퀀스-투-시퀀스 모델(S2SVR)을 제안한다. 먼저, 자연어 처리 분야에서 시퀀스 모델링에 효과가 입증된 시퀀스-투-시퀀스 모델을 VR 분야에 처음으로 적용하였다. 최적화된 시퀀스 순서 모델링은 프레임 간 장거리 의존성을 효과적으로 포착할 잠재력을 보이고 있다. 또한, 비지도 광학 흐름 추정기(unsupervised optical flow estimator)를 시퀀스-투-시퀀스 모델에 도입하여 그 성능을 극대화하였다. 제안하는 비지도 디스틸레이션 손실(unsupervised distillation loss)을 활용해 훈련된 광학 흐름 추정기는 기존의 흐름 기반 방법에서 발생하는 데이터 불일치 및 정확도 낮은 손상된 광학 흐름 문제를 완화할 수 있다. 신뢰할 수 있는 광학 흐름을 기반으로 다중 프레임 간 정확한 대응 관계를 설정할 수 있으며, 1차원 언어와 2차원 비정렬 프레임 사이의 도메인 차이를 줄여 시퀀스-투-시퀀스 모델의 잠재력을 더욱 향상시킬 수 있다. S2SVR은 비디오 흐림 제거, 비디오 슈퍼해상도, 압축된 비디오 품질 향상 등 다양한 VR 작업에서 뛰어난 성능을 보였다. 코드와 모델은 공개되어 있으며, https://github.com/linjing7/VR-Baseline 에서 확인할 수 있다.