COMISR: 압축 지식 기반 비디오 슈퍼해상도

대부분의 영상 초해상도 복원 기법은 압축을 고려하지 않고 저해상도 영상에서 고해상도 영상 프레임을 복원하는 데 집중한다. 그러나 웹이나 모바일 기기에서 사용되는 대부분의 영상은 압축되어 있으며, 특히 대역폭이 제한된 경우 압축 정도가 매우 심해질 수 있다. 본 논문에서는 압축으로 인한 아티팩트를 유발하지 않고 고해상도 콘텐츠를 복원할 수 있는 새로운 압축 인지형 영상 초해상도 모델을 제안한다. 제안된 모델은 영상 초해상도를 위한 세 가지 모듈로 구성된다: 양방향 순환 왜곡(bi-directional recurrent warping), 세부 정보 보존형 흐름 추정(detail-preserving flow estimation), 그리고 라플라시안 강화(Laplacian enhancement). 이 세 가지 모듈은 입력 영상 내 인트라 프레임(intra-frames)의 위치 및 출력 프레임의 매끄러움과 같은 압축 특성을 효과적으로 처리하기 위해 설계되었다. 철저한 성능 평가를 위해 다양한 압축률을 포함하는 표준 데이터셋에서 광범위한 실험을 수행하였으며, 이는 실제 영상 사용 사례를 포괄한다. 실험 결과, 제안된 방법은 널리 사용되는 벤치마크 데이터셋에서 압축되지 않은 프레임에서도 고해상도 콘텐츠를 효과적으로 복원함은 물론, 수많은 정량적 지표를 기준으로 압축된 영상의 초해상도 복원에서 최신 기술 수준의 성능을 달성함을 입증하였다. 또한, 유튜브 스트리밍을 시뮬레이션하여 제안된 방법의 효과성과 견고성을 평가하였다. 소스 코드 및 학습된 모델은 다음 주소에서 제공된다: https://github.com/google-research/google-research/tree/master/comisr.