FILM: 대규모 운동을 위한 프레임 보간

두 입력 이미지 사이에 큰 움직임이 있는 경우, 이를 기반으로 다수의 중간 프레임을 합성하는 프레임 보간 알고리즘을 제안한다. 최근의 방법들은 광학 흐름 또는 깊이를 추정하기 위해 여러 네트워크를 사용하고, 프레임 합성을 전담하는 별도의 네트워크를 운영한다. 그러나 이러한 접근은 종종 복잡하며, 흔하지 않은 광학 흐름 또는 깊이의 지도 데이터를 요구한다. 본 연구에서는 단일의 통합 네트워크를 제안하며, 이는 모든 스케일에서 가중치를 공유하는 다중 스케일 특징 추출기로 구분된다. 이 네트워크는 프레임만으로 학습이 가능하다. 선명하고 시각적으로 매력적인 프레임을 생성하기 위해, 특징 맵 간의 상관관계 차이를 측정하는 그람 행렬 손실(Gram matrix loss)을 최적화 목표로 제안한다. 제안한 방법은 Xiph의 큰 움직임 벤치마크에서 최신 기술들을 능가한다. 또한, 인지적 손실(perceptual loss)을 사용하는 기존 방법들과 비교했을 때, Vimeo-90K, Middlebury, UCF101에서 더 높은 점수를 기록한다. 본 연구는 가중치 공유의 효과와 점점 증가하는 움직임 범위를 가진 데이터셋으로 학습했을 때의 성능 변화를 분석한다. 마지막으로, 도전적인 근접 중복 사진 데이터셋에서 고품질이고 시간적으로 일관된 동영상을 효과적으로 합성하는 데에 모델의 우수성을 입증한다. 코드 및 사전 학습된 모델은 https://film-net.github.io 에서 제공된다.