Flow-Guided 비디오 인페인팅을 위한 End-to-End 프레임워크 연구

프레임 간 움직임 정보를 포착하는 광학 흐름(Optical flow)은 최근 비디오 인페인팅 방법에서 픽셀을 그 경로에 따라 전파함으로써 활용되고 있습니다. 그러나 이러한 방법들에서 수작업으로 설계된 광학 흐름 기반 프로세스는 각각 별도로 적용되어 전체 인페인팅 파이프라인을 형성합니다. 따라서 이러한 방법들은 효율성이 떨어지고 초기 단계의 중간 결과에 크게 의존합니다. 본 논문에서는 세 개의 학습 가능한 모듈, 즉 광학 흐름 완성 모듈, 특징 전파 모듈, 그리고 콘텐츠 환상 생성 모듈을 정교하게 설계하여 엔드투엔드(End-to-End) 방식의 광학 흐름 안내 비디오 인페인팅(E$^2$FGVI) 프레임워크를 제안합니다. 이 세 개의 모듈은 이전의 광학 흐름 기반 방법들의 세 단계와 대응하지만, 공동으로 최적화될 수 있어 더욱 효율적이고 효과적인 인페인팅 과정을 제공합니다. 실험 결과는 제안된 방법이 질적 및 양적으로 기존 최신 방법들을 능가하며 유망한 효율성을 보여준다는 것을 입증하였습니다. 코드는 https://github.com/MCG-NKU/E2FGVI에서 확인할 수 있습니다.