초록
DNN 기반 프레임 보간 기술은 두 개의 연속 프레임이 주어졌을 때 중간 프레임을 생성하는 방식으로, 일반적으로 수많은 특징을 가진 복잡한 모델 아키텍처에 의존하기 때문에, 모바일 장치와 같은 자원이 제한된 시스템에 배포하는 데 어려움이 있다. 본 연구에서는 모델의 희소성 유도 최적화를 통한 모델 프루닝을 활용하여 모델 크기를 크게 줄이면서도 우수한 성능을 달성하는 압축 기반 네트워크 설계(CDFI: Compression-Driven Frame Interpolation)를 제안한다. 구체적으로, 최근 제안된 AdaCoF 모델을 압축한 결과, 10배 압축된 AdaCoF 모델이 원본 모델과 유사한 성능을 보임을 확인하였으며, 이후 다중 해상도 왜곡 모듈(multi-resolution warping module)을 도입하여 이 압축된 모델의 성능을 further 향상시켰다. 이 모듈은 다수의 레벨에서 세부 정보를 유지함으로써 시각적 일관성을 크게 향상시켰다. 그 결과, 원본 AdaCoF 모델의 크기의 1/4에 불과한 크기로도 상당한 성능 향상을 달성하였다. 또한, 다양한 데이터셋에서 기존의 최첨단 기술들과 비교해도 유리한 성능을 보였다. 마지막으로, 제안된 압축 기반 프레임워크는 일반화된 구조를 가지며, 다른 DNN 기반 프레임 보간 알고리즘에도 쉽게 적용 가능하다. 본 연구의 소스 코드는 https://github.com/tding1/CDFI 에 공개되어 있다.