기반된 딥러닝의 압축된 UGC 영상에 대한 풀레퍼런스 및 노레퍼런스 품질 평가 모델

이 논문에서는 사용자 생성 콘텐츠(UGC) 영상의 압축 품질을 평가하기 위한 딥러닝 기반 영상 품질 평가(VQA) 프레임워크를 제안한다. 제안된 VQA 프레임워크는 특징 추출 모듈, 품질 회귀 모듈, 품질 풀링 모듈의 세 가지 모듈로 구성된다. 특징 추출 모듈에서는 합성곱 신경망(CNN)의 중간 계층에서 추출한 특징을 융합하여 최종적인 품질 인식 특징 표현을 생성함으로써, 모델이 저수준에서 고수준에 이르는 시각 정보를 효율적으로 활용할 수 있도록 한다. 구체적으로, 모든 중간 계층에서 추출한 특징 맵의 구조적 및 질감 유사도를 전체 참조(FR) VQA 모델의 특징 표현으로 사용하며, 중간 계층 특징들이 융합된 최종 특징 맵의 전역 평균과 표준편차를 비참조(NR) VQA 모델의 특징 표현으로 활용한다. 품질 회귀 모듈에서는 완전 연결(FC) 층을 사용하여 품질 인식 특징을 프레임 단위 점수로 회귀한다. 마지막으로, 주관적 평가 기반의 시간적 풀링 전략을 채택하여 프레임 단위 점수를 영상 단위 점수로 통합한다. 제안된 모델은 압축된 UGC 영상 VQA 데이터베이스에서 최신의 FR 및 NR VQA 모델들 중 가장 우수한 성능을 기록하였으며, 자연 상태의 UGC 영상 VQA 데이터베이스에서도 매우 우수한 성능을 달성하였다.