기반으로 한 참조 없는 품질 평가 모델: UGC 비디오에 대한 딥러닝 기법

사용자 생성 콘텐츠(User Generated Content, UGC) 영상의 품질 평가(Quality Assessment, QA)는 최종 사용자의 시청 경험을 보장하는 데 중요한 역할을 한다. 기존의 UGC 영상 품질 평가(VQA) 연구들은 영상 인식 모델이나 영상 품질 평가(Image Quality Assessment, IQA) 모델을 활용하여 UGC 영상의 프레임 단위 특징을 추출하고, 이를 통해 품질 회귀를 수행하는 방식을 채택해 왔다. 그러나 이러한 접근은 영상 인식 또는 IQA 작업과 UGC VQA 작업 사이의 도메인 차이(domain shift)로 인해 최적의 해결책이 아니라는 점에서 한계를 지닌다. 본 논문에서는 이러한 문제를 해결하기 위해, 영상 프레임의 원시 픽셀에서 품질 인지 특징 표현을 직접 학습하는 엔드투엔드 공간 특징 추출 네트워크를 설계한 매우 간단하면서도 효과적인 UGC VQA 모델을 제안한다. 또한 공간 특징이 모델링하지 못하는 시계열 관련 왜곡을 측정하기 위해 운동 특징을 별도로 추출한다. 제안된 모델은 공간 특징을 매우 희소한 프레임에서 추출하고, 운동 특징은 매우 낮은 공간 해상도를 갖는 밀집 프레임(즉, 영상 청크)을 이용하여 추출함으로써 낮은 계산 복잡도를 달성한다. 더 나아가, 개선된 품질 인지 특징을 기반으로 단순한 다층 퍼셉트론(Multilayer Perceptron, MLP) 네트워크를 사용하여 청크 단위 품질 점수를 회귀하고, 이후 시간 축 평균 풀링(Temporal Average Pooling) 전략을 적용하여 영상 전체 수준의 품질 점수를 도출한다. 또한, 다양한 공간 해상도에서의 VQA 문제를 해결하기 위해 다중 해상도 품질 융합 전략을 도입하였으며, 이때 다중 해상도 가중치는 인간 시각 시스템의 대비 감도 함수(Contrast Sensitivity Function)로부터 도출된다. 실험 결과, 제안된 모델은 다섯 개의 대표적인 UGC VQA 데이터베이스에서 최고의 성능을 기록하였으며, 본 모델의 효과성을 입증하였다. 코드는 공개 예정이다.