2달 전

ReLaX-VQA: 잔여 조각 및 층 스택 추출을 통한 비디오 품질 평가 향상

Xinyi Wang; Angeliki Katsenou; David Bull
ReLaX-VQA: 잔여 조각 및 층 스택 추출을 통한 비디오 품질 평가 향상
초록

사용자 생성 콘텐츠(UGC)가 사용자와 공유 플랫폼 간에 급속히 증가함에 따라 야외에서의 비디오 품질 평가의 필요성이 점점 더 명확해지고 있습니다. UGC는 일반적으로 소비자 기기로 획득되며, 최종 사용자에게 도달하기 전에 여러 차례의 압축(트랜스코딩) 과정을 거칩니다. 따라서 원본 콘텐츠를 참조로 사용하는 전통적인 품질 지표는 적합하지 않습니다. 본 논문에서는 이러한 문제를 해결하기 위해 다양한 비디오 콘텐츠의 품질을 평가할 때 원본 압축되지 않은 비디오를 참조하지 않는 새로운 무참조 비디오 품질 평가(NR-VQA) 모델인 ReLaX-VQA를 제안합니다. ReLaX-VQA는 프레임 차이를 이용하여 시공간 조각을 지능적으로 선택하며, 샘플링된 프레임과 관련된 다양한 공간 특성을 표현합니다. 이를 통해 인접 프레임의 공간적 및 시간적 변동성을 더 잘 포착할 수 있습니다. 또한, 모델은 잔차 네트워크(Residual Networks)와 비전 트랜스포머(Vision Transformers)에서 추출한 딥 뉴럴 네트워크 특성에 계층 스택 기술을 적용하여 추상화를 강화합니다. 네 개의 UGC 데이터셋에 대한 광범위한 테스트 결과, ReLaX-VQA는 기존 NR-VQA 방법론보다 일관되게 우수한 성능을 보였으며, 평균 SRCC 0.8658 및 PLCC 0.8873를 달성했습니다. NR-VQA 연구 및 응용 분야에서 추가적인 연구와 응용을 지원하기 위한 오픈 소스 코드와 학습된 모델은 https://github.com/xinyiW915/ReLaX-VQA에서 확인할 수 있습니다.

ReLaX-VQA: 잔여 조각 및 층 스택 추출을 통한 비디오 품질 평가 향상 | 최신 연구 논문 | HyperAI초신경