ERQA: 비디오 슈퍼리졸루션을 위한 엣지 복원 품질 평가

비디오 슈퍼해상도(VSR)의 인기가 점점 높아지고 있지만, 확대된 프레임에서 복원된 세부 정보의 품질을 평가할 수 있는 효과적인 방법은 여전히 존재하지 않는다. 일부 슈퍼해상도(SR) 기법은 잘못된 숫자나 완전히 다른 얼굴을 생성할 수 있다. 이러한 방법의 결과가 신뢰할 수 있는지 여부는 진정한 세부 정보를 얼마나 잘 복원하느냐에 달려 있다. 이미지 슈퍼해상도 기법은 자연스러운 분포를 활용해 실제 이미지와 다소 유사한 고해상도 이미지를 생성할 수는 있지만, 정확한 세부 정보는 보장하지 못한다. 반면, VSR은 인접 프레임들에서 추가 정보를 탐색함으로써 원본 장면의 세부 정보를 복원하는 데 기여한다. 본 논문에서 제안하는 ERQA 지표는 VSR을 통해 모델이 실제 세부 정보를 얼마나 잘 복원하는지 추정하는 것을 목적으로 한다. 세부 정보 및 특징 인식에 있어 에지(경계)가 중요한 역할을 한다는 가정 하에, 본 지표의 기반으로 에지 충실도(edge fidelity)를 선택하였다. 본 연구의 실험적 검증은 MSU 비디오 슈퍼해상도 벤치마크를 기반으로 수행되었으며, 이는 세부 정보 복원에 있어 가장 어려운 패턴들을 포함하고 있으며, 원본 프레임의 세부 정보 충실도를 검증하는 데 사용된다. 제안된 지표에 대한 코드는 공개적으로 https://github.com/msu-video-group/ERQA 에서 제공된다.