ProPainter: 비디오 인페인팅을 위한 전파 및 트랜스포머 개선

기반 흐름(propagation) 기반의 전파와 시공간 Transformer는 영상 복원(video inpainting, VI) 분야에서 두 가지 주류 기법이다. 이러한 구성 요소들은 효과적임에도 불구하고 여전히 성능에 영향을 미치는 몇 가지 한계를 가지고 있다. 기존의 전파 기반 접근법은 이미지 도메인 또는 특징 도메인에서 별도로 수행된다. 이미지 전파는 학습과 분리되어 진행되며, 정확하지 않은 광학 흐름(optical flow)으로 인해 공간적 불일치(spatial misalignment)가 발생할 수 있다. 또한 메모리 또는 계산 자원의 제약으로 인해 특징 전파 및 영상 Transformer의 시간적 범위가 제한되어 먼 프레임 간의 대응 정보 탐색이 어려운 문제가 있다. 이러한 문제를 해결하기 위해, 개선된 프레임워크인 ProPainter를 제안한다. 이는 강화된 전파 기법과 효율적인 Transformer를 포함한다. 구체적으로, 이미지와 특징 왜곡(warping)의 장점을 결합한 이중 도메인 전파(dual-domain propagation)를 도입하여 신뢰할 수 있는 전역 대응 관계(global correspondences)를 활용한다. 또한 불필요하고 중복되는 토큰을 제거함으로써 높은 효율성을 달성하는 마스크 유도 희소 영상 Transformer(mask-guided sparse video Transformer)를 제안한다. 이러한 구성 요소들을 통해 ProPainter는 기존 기법 대비 PSNR 기준으로 1.46 dB의 큰 성능 향상을 달성하면서도 뛰어난 효율성을 유지한다.