2달 전
AdaCoF: 비디오 프레임 보간을 위한 적응형 플로우 협업
Hyeongmin Lee; Taeoh Kim; Tae-young Chung; Daehyun Pak; Yuseok Ban; Sangyoun Lee

초록
비디오 프레임 보간은 비디오 처리 연구에서 가장 어려운 과제 중 하나입니다. 최근에는 딥 러닝을 기반으로 하는 많은 연구가 제안되었습니다. 이러한 방법의 대부분은 각 출력 픽셀을 추정하기 위해 유용한 정보가 있는 위치를 찾는 데 초점을 맞추고 있으며, 자체 프레임 왜핑 연산을 사용합니다. 그러나 이들 중 많은 방법이 자유도(Degrees of Freedom, DoF) 제한을 가지고 있어 실제 비디오에서 발견되는 복잡한 움직임을 처리하지 못하는 경우가 많습니다. 이 문제를 해결하기 위해, 우리는 새로운 왜핑 모듈인 적응적 흐름 협력(Adaptive Collaboration of Flows, AdaCoF)을 제안합니다. 우리의 방법은 각 대상 픽셀에 대한 커널 가중치와 오프셋 벡터를 추정하여 출력 프레임을 합성합니다. AdaCoF는 다른 접근 방식과 비교해 가장 일반화된 왜핑 모듈 중 하나이며, 대부분의 다른 방법들을 특수 사례로 포함하고 있습니다. 따라서, 매우 넓은 범위의 복잡한 움직임을 처리할 수 있습니다. 우리의 프레임워크를 더욱 개선하고 더 현실적인 출력을 합성하기 위해, 비디오 프레임 보간 작업에만 적용 가능한 듀얼-프레임 적대적 손실 함수(dual-frame adversarial loss)를 도입하였습니다. 실험 결과는 우리의 방법이 고정된 학습 세트 환경과 미들베리 벤치마크 모두에서 최신 기술(state-of-the-art) 방법들을 능가함을 보여주었습니다.