18일 전

MEMC-Net: 동작 추정 및 동작 보상 기반 신경망을 활용한 비디오 프레임 보간 및 증강

{Ming-Hsuan Yang, Wei-Sheng Lai, Zhiyong Gao, Wenbo Bao, Xiaoyun Zhang}
MEMC-Net: 동작 추정 및 동작 보상 기반 신경망을 활용한 비디오 프레임 보간 및 증강
초록

움직임 추정(Motion Estimation, ME)과 움직임 보상(Motion Compensation, MC)은 지난 수십 년간 전통적인 비디오 프레임 보간 시스템을 지배해왔다. 최근에는 합성곱 신경망(Convolutional Neural Networks)이 프레임 보간을 위한 새로운 데이터 기반 패러다임을 제시하였다. 그러나 기존의 학습 기반 방법들은 일반적으로 ME 또는 MC 중 하나만을 추정하는 경향이 있어, 계산 효율성과 보간 정확도 측면에서 한계를 보이고 있다. 본 연구에서는 움직임 추정과 움직임 보상에 기반한 신경망 아키텍처를 제안한다. 제안된 방법은 광학 흐름과 보간 커널을 통합하여 대상 프레임의 픽셀을 합성하기 위한 새로운 적응형 왜곡 레이어(adaptive warping layer)를 도입한다. 이 레이어는 완전히 미분 가능하여, 흐름 추정 네트워크와 커널 추정 네트워크를 동시에 최적화할 수 있다. 본 방법은 ME 및 MC 모델 기반 아키텍처의 장점을 활용하면서도, 대량의 비디오 데이터를 기반으로 학습함으로써 기존의 수작업 설계 방식을 회피한다. 기존 방법들과 비교하여 본 방법은 계산 효율성이 뛰어나며, 더 시각적으로 매력적인 결과를 생성할 수 있다. 또한, 본 연구에서 제안하는 MEMC 아키텍처는 일반화된 프레임워크로서 초해상도, 노이즈 제거, 블록 효과 제거 등 다양한 비디오 강화 작업에 원활하게 적용 가능하다. 광범위한 정량적 및 정성적 평가 결과를 통해, 제안된 방법이 다양한 데이터셋에서 최신 기술 수준의 비디오 프레임 보간 및 강화 알고리즘과 비교해 우수한 성능을 발휘함을 입증하였다.

MEMC-Net: 동작 추정 및 동작 보상 기반 신경망을 활용한 비디오 프레임 보간 및 증강 | 최신 연구 논문 | HyperAI초신경