IFRNet: 효율적인 프레임 보간을 위한 중간 특징 개선 네트워크

기존의 영상 프레임 보간 알고리즘은 연속적인 입력 프레임에서 중간 프레임을 생성하는 방식을 채택하고 있으나, 일반적으로 복잡한 모델 아키텍처와 방대한 파라미터, 또는 큰 지연 시간을 요구함으로써 다양한 실시간 응용 분야에 적합하지 않다. 본 연구에서는 빠른 중간 프레임 합성에 적합한 효율적인 인코더-디코더 기반 네트워크인 IFRNet을 제안한다. IFRNet은 주어진 입력에서 피라미드 특징을 추출한 후, 강력한 중간 특징과 함께 양방향 중간 흐름 필드를 정제하여 원하는 출력을 생성한다. 점진적으로 정제되는 중간 특징은 중간 흐름 추정을 촉진할 뿐만 아니라 맥락 정보를 보완함으로써, 별도의 합성 또는 정제 모듈이 필요 없도록 한다. IFRNet의 잠재력을 극대화하기 위해, 프레임 합성에 유용한 교사 지식을 효과적으로 학습할 수 있도록 주목적(optimal) 흐름 증류 손실(loss)을 제안한다. 동시에, 점진적으로 정제되는 중간 특징에 대해 새로운 기하학적 일관성 정규화 항목을 도입하여 더 나은 구조적 레이아웃을 유지한다. 다양한 벤치마크에서 수행된 실험 결과는 제안된 방법이 뛰어난 성능과 빠른 추론 속도를 동시에 달성함을 입증한다. 코드는 https://github.com/ltkong218/IFRNet 에서 공개되어 있다.