FeatureFlow: 구조에서 텍스처 생성을 통한 강건한 비디오 보간

비디오 인터폴레이션은 두 연속 프레임 사이에 존재하지 않는 프레임을 합성하는 것을 목표로 한다. 기존의 광학 흐름 기반 방법들은 희망적인 성과를 달성하고 있으나, 특히 음영, 흐림, 급격한 밝기 변화 등이 포함된 복잡한 동적 장면의 인터폴레이션 처리에서 여전히 큰 도전에 직면해 있다. 이는 이러한 상황이 광학 흐름 추정의 기본 가정(즉, 매끄러움과 일관성)을 깨뜨릴 수 있기 때문이다. 본 연구에서는 구조-텍스처 생성 프레임워크를 제안하며, 비디오 인터폴레이션 작업을 두 단계로 분리한다: 구조 지도형 인터폴레이션과 텍스처 보정. 첫 번째 단계에서는 깊은 구조 인지 특징을 활용하여 두 연속 프레임에서 중간 결과로의 특징 흐름을 예측하고, 이를 바탕으로 중간 프레임의 구조 이미지를 생성한다. 두 번째 단계에서는 생성된 원시 결과를 기반으로, 세부 텍스처를 보완하는 Frame Texture Compensator를 학습시킨다. 본 연구는 깊은 특징을 직접 혼합하여 중간 프레임을 직접 생성하는 최초의 작업으로, 지식의 한계 내에서 가장 앞선 연구로 평가된다. 벤치마크 데이터셋과 도전적인 음영 상황에 대한 실험을 통해 제안된 프레임워크가 기존 최고 수준의 방법들에 비해 우수함을 입증하였다. 코드는 https://github.com/CM-BF/FeatureFlow 에 공개되어 있다.