11일 전

자연 환경 영상에 대한 통합 품질 평가: 혼합 데이터셋 학습을 통한 접근

Dingquan Li, Tingting Jiang, Ming Jiang
자연 환경 영상에 대한 통합 품질 평가: 혼합 데이터셋 학습을 통한 접근
초록

비디오 품질 평가(VQA)는 컴퓨터 비전 분야에서 중요한 문제이다. 컴퓨터 비전 응용 프로그램에서 사용되는 비디오는 일반적으로 자연 환경에서 촬영된다. 본 연구에서는 자연 환경에서 촬영된 비디오의 품질을 자동으로 평가하는 데 초점을 맞추며, 이는 참조 비디오가 없고 왜곡의 복잡성과 비디오 콘텐츠의 다양성이 높기 때문에 도전적인 과제이다. 또한 기존 데이터셋 간에 비디오 콘텐츠와 왜곡의 특성이 크게 다르기 때문에, 데이터 기반 접근법이 데이터셋 간 평가 설정에서 낮은 성능을 보이고 있다. 품질 평가 모델의 성능을 향상시키기 위해 인간의 시각 인지 특성, 특히 콘텐츠 의존성과 시적 기억 효과에 착안하였다. 데이터셋 간 평가 도전에 대응하기 위해, 여러 데이터셋을 병합하여 하나의 VQA 모델을 학습하는 혼합 데이터셋 학습 전략을 탐구하였다. 제안하는 통합 프레임워크는 상대적 품질 평가기, 비선형 매핑, 데이터셋별 인지 척도 정렬의 세 단계를 명시적으로 포함하여 상대적 품질, 인지적 품질, 주관적 품질을 동시에 예측한다. 본 연구는 자연 환경에서의 VQA를 위한 네 가지 공개 데이터셋(LIVE-VQC, LIVE-Qualcomm, KoNViD-1k, CVD2014)을 기반으로 실험을 수행하였다. 실험 결과는 혼합 데이터셋 학습 전략의 효과를 입증하였으며, 최신 기술 대비 제안하는 통합 모델의 우수한 성능을 확인하였다. 재현 가능한 연구를 위해, 본 연구의 PyTorch 구현 코드는 https://github.com/lidq92/MDTVSFA 에 공개되어 있다.

자연 환경 영상에 대한 통합 품질 평가: 혼합 데이터셋 학습을 통한 접근 | 최신 연구 논문 | HyperAI초신경