RAPIQUE: 사용자 생성 콘텐츠의 고속 정확한 비디오 품질 예측

사용자 생성 콘텐츠(User-Generated Content, UGC)에 대한 실명 또는 참조 없이 영상 품질을 평가하는 문제는 최근 뜨거운 관심을 받고 있으며, 여전히 해결되지 않은 도전 과제로 남아 있다. 이러한 콘텐츠에 적합한 정확하고 효율적인 영상 품질 예측 모델은 UGC 영상에 대한 더 지능적인 분석 및 처리를 실현하기 위해 매우 시급한 요구사항이다. 기존 연구들은 자연 장면 통계(Natural Scene Statistics)와 딥러닝 특징이 모두 공간적 왜곡을 효과적으로 포착할 수 있음을 보여주었으며, 이는 UGC 영상 품질 문제의 중요한 요소를 설명하는 데 기여한다. 그러나 기존 모델들은 실제 응용에서 복잡하고 다양한 UGC 영상의 품질을 예측하는 데 있어 능력이 부족하거나 효율성이 떨어지는 경향이 있다. 본 연구에서는 이러한 문제를 해결하기 위해, 사용자 생성 콘텐츠를 위한 효과적이고 효율적인 영상 품질 평가 모델인 '빠르고 정확한 영상 품질 평가자(Rapid and Accurate Video Quality Evaluator, RAPIQUE)'를 제안한다. 실험 결과, RAPIQUE는 최첨단(SOTA, State-of-the-Art) 모델과 비견되는 성능을 보이지만, 실행 시간은 수배에서 수십만 배 이상 빠르다. RAPIQUE는 품질 인지 장면 통계 특징과 의미 인지 딥 컨볼루션 특징의 장점을 결합·활용함으로써, 영상 품질 모델링을 위한 세계 최초의 일반화 가능하고 효율적인 공간-시간(스페이스-타임) 밴드패스 통계 모델을 설계할 수 있었다. 최근 대규모 UGC 영상 품질 데이터베이스를 대상으로 한 실험 결과, RAPIQUE는 모든 데이터셋에서 최고 수준의 성능을 달성하면서도 상당한 계산 비용 절감을 이뤘다. 본 연구가 실시간 및 저지연 응용을 위한 영상 품질 문제의 실용적 모델링을 더욱 촉진하고 영감을 줄 수 있기를 기대한다. 공개 활용을 위해 RAPIQUE의 구현 코드는 무료로 온라인에 공개되었으며, 다음 링크에서 접근할 수 있다: \url{https://github.com/vztu/RAPIQUE}.