초록
우리는 고해상도(4K 등) 영상에서 큰 운동량과 은폐 영역을 포함하는 경우에도 효과적으로 작동할 수 있도록, 새로운 DNN 기반 프레임워크인 '향상된 상관관계 매칭 기반 영상 프레임 보간 네트워크(Enhanced Correlation Matching based Video Frame Interpolation Network)'를 제안한다. 해상도에 따라 네트워크 모델의 확장성을 고려하여, 광학 흐름 추정을 위해 각 피라미드 계층 간에 파라미터를 공유하는 순환 피라미드 아키텍처를 채택하였다. 제안된 광학 흐름 추정 방식에서는 상관관계가 최대가 되는 위치를 추적함으로써 광학 흐름을 반복적으로 정밀화한다. 전방 왜곡 기반 상관관계 매칭 기법은 은폐 영역 주변에서 잘못 왜곡된 특징을 제거함으로써 흐름 업데이트의 정확도를 향상시킨다. 최종적으로 얻어진 양방향 광학 흐름을 기반으로, 왜곡 및 믹싱 네트워크를 통해 임의의 시공간 위치에 해당하는 중간 프레임을 합성하고, 이를 보정 네트워크를 통해 추가로 개선한다. 실험 결과, 제안한 방법은 4K 영상 데이터 및 저해상도 벤치마크 데이터셋 모두에서 기존의 방법들과 비교해 객관적 및 주관적 품질 측면에서 우수한 성능을 보이며, 가장 적은 수의 모델 파라미터를 사용함으로써 효율성도 높이었다.