초록
우리는 심각하게 훼손된 오래된 영화를 복원하기 위한 학습 기반 프레임워크, 재귀 변환기 네트워크(Recurrent Transformer Network, RTN)를 제시합니다. 단순히 프레임별로 복원하는 대신, 우리 방법은 인접한 프레임에서 얻은 풍부한 정보를 활용하여 각 프레임의 어려운 아티팩트를 복원하면서 시간적 일관성을 보장합니다. 또한, 현재 프레임의 표현과 숨겨진 지식을 대조함으로써 감독되지 않은 방식으로 스크래치 위치를 추론할 수 있으며, 이러한 결함 위치 파악은 실제 세계의 훼손에 대해 잘 일반화됩니다. 더욱이, 혼합된 훼손을 더 효과적으로 해결하고 프레임 정렬 과정에서 발생하는 플로우 추정 오류를 보완하기 위해 공간적 복원을 위한 더 표현력 있는 변환기 블록을 활용하는 것을 제안합니다. 합성 데이터셋과 실제 세계의 오래된 영화에 대한 실험 결과는 제안된 RTN이 기존 솔루션보다 크게 우수함을 입증하였습니다. 또한 동일한 프레임워크는 키프레임에서 전체 비디오로 색상을 전파하여 최종적으로 강력한 복원 영화를 생성할 수 있음을 보여줍니다. 이 구현 및 모델은 https://github.com/raywzy/Bringing-Old-Films-Back-to-Life 에서 공개될 예정입니다.