초록
컨벌루션 신경망을 기반으로 하는 이미지 스타일 전환 모델은 일반적으로 비디오에 적용될 때 시간적 일관성이 떨어지는 문제가 있습니다. 일부 비디오 스타일 전환 모델들은 시간적 일관성을 개선하기 위해 제안되었지만, 동시에 빠른 처리 속도, 우수한 지각적 스타일 품질, 그리고 높은 시간적 일관성을 보장하지는 못했습니다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 실시간 비디오 스타일 전환 모델인 ReCoNet을 제안합니다. 이 모델은 유리한 지각적 스타일을 유지하면서 시간적으로 일관된 스타일 전환 비디오를 생성할 수 있습니다. 출력 단계에서 새로운 조명 왜곡 제약(luminance warping constraint)이 시간 손실에 추가되어 연속 프레임 간의 밝기 변화를 포착하고 조명 효과 하에서의 스타일화 안정성을 증가시킵니다. 또한 추적 가능한 객체에 대한 시간적 일관성을 더욱 강화하기 위해 새로운 특징 맵 단계의 시간 손실(feature-map-level temporal loss)을 제안합니다. 실험 결과, 우리의 모델은 정성적으로와 정량적으로 모두 뛰어난 성능을 보였습니다.