초록
영상 프레임 합성은 보간과 외삽을 포함하는 핵심 영상 처리 기술로, 다양한 응용 분야에 활용될 수 있다. 그러나 기존의 대부분의 방법은 소형 객체나 큰 운동을 효과적으로 처리하지 못하며, 특히 4K와 같은 고해상도 영상에서는 이 문제가 더욱 두드러진다. 이러한 한계를 극복하기 위해, 기반 흐름 기반의 프레임 합성에 적합한 이웃 대응 매칭(neighbor correspondence matching, NCM) 알고리즘을 제안한다. 영상 프레임 합성에서는 현재 프레임이 사전에 제공되지 않기 때문에, NCM은 현재 프레임에 의존하지 않는 방식으로 각 픽셀의 공간-시간 이웃 영역 내에서 다중 해상도의 대응 관계를 구축한다. NCM의 강력한 운동 표현 능력을 바탕으로, 비균일한 거시적에서 미시적까지의 계층적(coarse-to-fine) 구조를 활용한 중간 흐름 추정 방식을 제안한다. 구체적으로, 거시적 모듈은 이웃 대응 관계를 활용하여 큰 운동을 효과적으로 포착하도록 설계되었으며, 미시적 모듈은 계산 효율성이 높아 추정 과정을 가속화하는 데 기여한다. 두 모듈은 훈련 데이터셋과 실제 영상 간의 해상도 차이를 제거하기 위해 점진적으로 훈련된다. 실험 결과, NCM은 여러 벤치마크에서 최첨단 성능을 달성함을 확인하였다. 또한, NCM은 영상 압축을 비롯한 다양한 실용적 응용 시나리오에 적용 가능하며, 개선된 성능을 제공함을 보였다.