Flow-Guided Video Inpainting을 Reference Generation으로 향상시키기

비디오 인페인팅(Video Inpainting, VI)은 관찰 가능한 내용을 프레임 간에 효과적으로 전파시키면서 동시에 원래 비디오에 존재하지 않는 새로운 내용을 생성해야 하는 어려운 작업입니다. 본 연구에서는 참조 생성을 위해 대규모 생성 모델과 고급 픽셀 전파 알고리즘을 결합한 견고하고 실용적인 VI 프레임워크를 제안합니다. 강력한 생성 모델의 지원으로, 우리의 방법은 객체 제거에 있어 프레임 수준의 품질을 크게 향상시키는 데 그치지 않고 사용자가 제공한 텍스트 프롬프트를 기반으로 누락된 영역에서 새로운 내용을 합성합니다. 픽셀 전파에 대해서는 반복 샘플링으로 인한 오류 누적을 효과적으로 방지하면서 서브픽셀 정밀도를 유지하는 원샷 픽셀 풀링(one-shot pixel pulling) 방법을 소개합니다. 실제 시나리오에서 다양한 VI 방법들을 평가하기 위해, 우리는 알파 매트 조성을 사용하여 신경 써서 생성된 비디오로 구성된 고품질 VI 벤치마크(HQVI)를 제안합니다. 공개 벤치마크와 HQVI 데이터셋에서 우리의 방법은 기존 솔루션보다 눈에 띄게 높은 시각적 품질과 지표 점수를 보여주며, 2K 이상의 고해상도 비디오를 쉽게 처리할 수 있는 능력을 통해 실제 응용 분야에서의 우수성을 입증합니다.