초록
움직임 기반 영상 프레임 보간은 일반적으로 입력 프레임의 픽셀을 원하는 보간 시점으로 왜곡(warp)하기 위해 광학 흐름(optical flow)을 활용한다. 그러나 움직임 추정의 본질적인 과제(예: 가림현상과 불연속성)로 인해, 대부분의 최신 보간 기법들은 왜곡된 결과를 후처리하여 만족스러운 출력을 생성하기 위해 추가적인 보정 과정을 필요로 하며, 이는 다중 프레임 보간의 효율성을 크게 저하시킨다. 본 연구에서는 효율적인 프레임 보간을 위해 완전히 미분 가능한 다대다(Many-to-Many, M2M) 스플래터링(splatting) 프레임워크를 제안한다. 구체적으로, 프레임 쌍을 입력으로 받아 다중 양방향 광학 흐름을 추정하여 직접적으로 픽셀을 원하는 시간 단계로 전방 왜곡하고, 겹치는 픽셀들을 융합한다. 이를 통해 각 원본 픽셀이 여러 타겟 픽셀을 렌더링할 수 있고, 각 타겟 픽셀은 더 넓은 시각적 맥락에서 합성될 수 있다. 이는 구멍(hole)과 같은 아티팩트에 대해 뛰어난 내성을 갖는 다대다 스플래터링 구조를 구축한다. 또한, 각 입력 프레임 쌍에 대해 M2M는 움직임 추정을 단 한 번만 수행하며, 중간 프레임을 임의의 수만큼 보간할 때 계산 부담이 극히 낮아, 빠른 다중 프레임 보간을 실현한다. 우리는 M2M에 대한 광범위한 실험을 수행하여, 높은 효과성을 유지하면서도 효율성이 크게 향상됨을 확인하였다.