2달 전
과제 지향 흐름을 이용한 비디오 향상
Tianfan Xue; Baian Chen; Jiajun Wu; Donglai Wei; William T. Freeman

초록
많은 비디오 향상 알고리즘이 비디오 시퀀스의 프레임을 등록하기 위해 광학 흐름(optical flow)에 의존합니다. 그러나 정확한 흐름 추정은 실현 불가능하며, 광학 흐름 자체도 특정 비디오 처리 작업에 대해 종종 최적의 표현이 아닙니다. 본 논문에서는 자기 감독 방식으로, 작업 특화된 방식으로 학습되는 운동 표현인 작업 지향적 흐름(Task-Oriented Flow, TOFlow)을 제안합니다. 우리는 학습 가능한 운동 추정 구성 요소와 비디오 처리 구성 요소를 갖춘 신경망을 설계하고, 이들을 공동으로 학습하여 작업 지향적 흐름을 배우도록 하였습니다. 평가를 위해, 우리는 저수준 비디오 처리를 위한 대규모 고품질 비디오 데이터셋인 Vimeo-90K를 구축하였습니다. TOFlow는 세 가지 비디오 처리 작업(프레임 보간, 비디오 노이즈 제거/블록 해제, 비디오 초해상도 확대)에서 표준 벤치마크뿐만 아니라 우리의 Vimeo-90K 데이터셋에서도 전통적인 광학 흐름보다 우수한 성능을 보입니다.