초록
비디오 인페인팅은 비디오의 누락된 영역을 채우는 것을 목표로 하며, 비디오 내용의 정확한 공간적 및 시간적 일관성을 유지하는 데 어려움이 있어 여전히 도전적인 과제입니다. 본 연구에서는 새로운 흐름 유도 비디오 인페인팅 접근법을 제안합니다. 각 프레임의 RGB 픽셀을 직접 채우는 대신, 비디오 인페인팅을 픽셀 전파 문제로 간주하였습니다. 먼저, 신규 설계된 딥 흐름 완성 네트워크를 사용하여 비디오 프레임 간에 공간적 및 시간적으로 일관된 광학 흐름 필드를 합성합니다. 그런 다음 합성된 흐름 필드를 이용하여 비디오의 누락된 영역을 채우기 위해 픽셀 전파를 안내합니다. 구체적으로, 딥 흐름 완성 네트워크는 전체에서 세부까지의 단계적 개선(coarse-to-fine refinement) 방식으로 흐름 필드를 완성하며, 이들의 품질은 어려운 흐름 예제 추출(hard flow example mining)을 통해 더욱 개선됩니다. 완성된 흐름의 안내에 따라, 비디오의 누락된 영역이 정확하게 채워집니다. 우리의 방법은 DAVIS와 YouTube-VOS 데이터셋에서 질적 및 양적으로 평가되었으며, 인페인팅 품질과 속도 면에서 최고 수준의 성능을 달성하였습니다.