MEMC-Net: 동작 추정 및 동작 보상 기반 신경망을 이용한 비디오 보간 및 향상

동작 추정(Motion Estimation, ME)과 동작 보상(Motion Compensation, MC)은 지난 수십 년 동안 전통적인 비디오 프레임 보간 시스템에서 널리 사용되어 왔습니다. 최근에는 합성곱 신경망(Convolutional Neural Networks)을 기반으로 하는 데이터 주도형 프레임 보간 방법들이 제안되었습니다. 그러나, 기존의 학습 기반 방법들은 일반적으로 흐름(flow) 또는 보상 커널(compensation kernels) 중 하나만 추정하여, 계산 효율성과 보간 정확성 측면에서 성능이 제한적입니다. 본 연구에서는 비디오 프레임 보간을 위한 동작 추정 및 보상 구동 신경망을 제안합니다. 새로운 적응형 왜곡 레이어(Adaptive Warping Layer)가 개발되어 광학 흐름(optical flow)과 보간 커널(interpolation kernels)을 통합하여 대상 프레임 픽셀들을 합성합니다. 이 레이어는 완전히 미분 가능하므로 흐름 추정 네트워크와 커널 추정 네트워크를 공동으로 최적화할 수 있습니다. 제안된 모델은 수작업으로 설계된 특징(hand-crafted features)을 사용하지 않으면서도 동작 추정 및 보상 방법들의 장점을 활용합니다. 기존 방법들과 비교하여 본 접근 방식은 계산적으로 효율적이며 더 시각적으로 매력적인 결과를 생성할 수 있습니다. 또한, 제안된 MEMC-Net은 초해상도(super-resolution), 노이즈 제거(denoising), 블록 효과 제거(deblocking) 등의 여러 비디오 향상 작업에 원활하게 적용될 수 있습니다. 광범위한 정량적 및 정성적 평가를 통해 제안된 방법이 다양한 데이터셋에서 최신 비디오 프레임 보간 및 향상 알고리즘들에 대해 우수한 성능을 발휘함을 입증하였습니다.