손상 복원: 코덱 압축 하에서 8K 비디오 복원을 위한 QP 인식 트랜스포머-확산 접근법

본 논문에서는 DiQP를 소개합니다. DiQP는 코덱 압축으로 인해 저하된 8K 비디오 품질을 복원하기 위한 새로운 Transformer-Diffusion 모델입니다. 최선의 지식에 따르면, 본 모델은 추가적인 노이즈를 고려하지 않고 Denoising Diffusion을 통해 다양한 코덱(AV1, HEVC)에서 발생하는 아티팩트를 복원하는 첫 번째 모델입니다. 이 접근 방식은 압축 아티팩트의 복잡하고 비가우시안(non-Gaussian) 특성을 모델링할 수 있게 하며, 저하된 품질을 효과적으로 역전시키는 능력을 학습합니다. 우리의 구조는 장거리 의존성을 포착하는 Transformer의 힘과 프레임 간 픽셀 그룹 내에서 시공간적 맥락을 보존하는 개선된 윈도우 메커니즘을 결합하여 설계되었습니다. 또한 복원 성능을 더욱 강화하기 위해, 모델은 미래 프레임과 주변 프레임 정보를 제공하여 미세한 세부 사항을 재구성하고 전반적인 시각적 품질을 향상시키는 보조 "Look Ahead"와 "Look Around" 모듈을 포함하고 있습니다. 다양한 데이터셋에 대한 광범위한 실험 결과, 본 모델이 특히 4K 및 8K와 같은 고해상도 비디오에서 기존 최신 방법론보다 우수한 성능을 보이는 것으로 나타났으며, 높게 압축된 소스로부터 시각적으로 만족스러운 비디오를 복원하는 데 그 효과성이 입증되었습니다.