초록
역전파 워핑(Backward Warping) 형태의 미분 가능한 이미지 샘플링은 깊이 추정 및 광학 흐름 예측과 같은 다양한 과제에서 널리 채택되어 왔다. 반면, 전방 워핑(Forward Warping)의 수행 방법에 대한 관심은 상대적으로 적었으며, 이는 동일한 타겟 위치에 여러 소스 픽셀이 매핑되는 상황을 미분 가능하게 해결해야 하는 추가적인 도전 과제가 있기 때문이다. 본 논문에서는 이러한 패러다임 전환을 해결하기 위해 소프트맥스 스플래터링(Softmax Splatting)을 제안하며, 프레임 보간(Frame Interpolation)에 대한 효과를 입증한다. 구체적으로, 두 개의 입력 프레임과 그에 해당하는 특징 피라미드 표현을 광학 흐름 추정 값을 기반으로 소프트맥스 스플래터링을 사용하여 전방 워핑한다. 이를 통해 동일한 타겟 위치에 여러 소스 픽셀이 매핑되는 경우도 부드럽고 자연스럽게 처리할 수 있다. 이후, 워핑된 표현들로부터 합성 네트워크를 이용해 보간 결과를 예측한다. 본 소프트맥스 스플래터링은 임의의 시간 지점에서 프레임을 보간할 뿐만 아니라, 특징 피라미드와 광학 흐름을 세밀하게 조정할 수 있도록 한다. 소프트맥스 스플래터링을 기반으로 한 본 연구의 합성 접근법은 영상 프레임 보간 분야에서 새로운 최고 성능(SOTA)을 달성함을 보여준다.