디지털화된 아날로그 비디오테이프의 참조 기반 복원

아날로그 자기 테이프는 수십 년 동안 주요 비디오 데이터 저장 장치로 사용되어 왔습니다. 아날로그 비디오테이프에 저장된 비디오는 필름 및 디지털 비디오 복원 작업에서 관찰되는 것과 다른 테이프 노화와 리더 장치의 고장으로 인한 독특한 열화 패턴을 나타냅니다. 본 연구에서는 디지털화된 아날로그 비디오테이프(TAPE)의 복원을 위한 참조 기반 접근법을 제시합니다. 우리는 다양한 결함을 설명하는 텍스트 프롬프트를 통해 각 비디오의 가장 깨끗한 프레임을 식별하기 위해 CLIP를 활용하여 제로샷(zero-shot) 결함 검출을 수행합니다. 그런 다음, 입력 프레임과 가장 유사한 깨끗한 프레임들을 선택하여 참조로 사용합니다. 우리는 이웃 프레임과 참조 프레임을 모두 활용할 수 있는 Multi-Reference Spatial Feature Fusion (MRSFF) 블록을 통해 트랜스포머 기반 Swin-UNet 네트워크를 설계하였습니다. MRSFF 블록은 크로스 어텐션(cross-attention)과 어텐션 풀링(attention pooling)을 기반으로 하여 각 참조 프레임의 가장 유용한 부분들을 활용할 수 있습니다. 실제 비디오에서 정답 데이터(ground truth)가 부족한 문제를 해결하기 위해, 아날로그 비디오테이프에서 일반적으로 발견되는 결함과 매우 유사한 결함을 가진 합성 데이터셋을 생성하였습니다. 양적 실험과 질적 실험 모두 우리의 접근법이 다른 최신 방법들과 비교하여 효과적임을 보여줍니다. 코드, 모델, 그리고 합성 데이터셋은 공개적으로 이용 가능하며, https://github.com/miccunifi/TAPE에서 확인할 수 있습니다.