초록
우리는 비디오 인페인팅을 위한 새로운 딥 러닝 기반 알고리즘을 제시합니다. 비디오 인페인팅은 비디오에서 손상되거나 누락된 영역을 완성하는 과정입니다. 비디오 인페인팅은 이미지 인페인팅보다 추가적인 시간 정보와 시간 일관성을 유지해야 하는 필요성이 있어 더 많은 도전과제를 가지고 있습니다. 우리는 비디오의 다른 프레임에 있는 추가 정보를 활용하는 새로운 DNN(딥 신경망) 기반 프레임워크인 'Copy-and-Paste Networks'를 제안합니다. 이 네트워크는 참조 프레임의 해당 내용을 복사하여 대상 프레임의 구멍을 채우도록 훈련됩니다. 또한, 우리 네트워크에는 프레임 간의 아핀 행렬을 계산하여 정렬하는 정렬 네트워크가 포함되어 있어, 네트워크가 더 먼 거리의 프레임에서 정보를 가져와 견고성을 높일 수 있습니다. 우리의 방법은 시각적으로 만족스럽고 시간적으로 일관된 결과를 생성하면서, 최신 최적화 기반 방법보다 빠르게 실행됩니다. 또한, 우리는 이 프레임워크를 확장하여 비디오에서 과노출 또는 저노출된 프레임을 강화하는 데 사용합니다. 이 강화 기술을 사용함으로써, 도로 비디오에서 차선 검출 정확도를 크게 개선할 수 있었습니다.