고프레임레이트 영상 품질 평가: VMAF 및 엔트로피 차이를 활용한 방법

라이브 동영상 및 고액션 콘텐츠를 포함한 스트리밍 비디오의 인기 증가는 고프레임레이트(HFR) 비디오에 대한 관심을 높이고 있다. 본 연구에서는 서로 다른 프레임 레이트와 압축률을 가진 비디오를 비교할 때 프레임 레이트에 의존하는 비디오 품질 평가(VQA) 문제를 다룬다. 현재의 VQA 모델인 VMAF는 비교 대상 비디오의 프레임 레이트가 동일하고 전통적인 왜곡(예: 압축, 스케일링 등)이 포함된 경우 인지적 판단과 높은 상관관계를 보인다. 그러나 프레임 레이트가 다른 비디오를 비교해야 할 경우, 추가적인 사전 처리 단계가 필요하며, 이는 모델의 전반적인 성능을 제한할 수 있다. 최근에는 프레임 레이트 변화로 인해 발생하는 아티팩트를 고려하기 위해 일반화된 엔트로피 차이(GREED) VQA 모델이 제안되었으며, 줌머, 스트로빙 등의 프레임 레이트 의존적 아티팩트를 포함한 LIVE-YT-HFR 데이터베이스에서 뛰어난 성능을 보였다. 본 논문에서는 VMAF와 GREED의 특징을 융합하는 간단한 확장 방식을 제안하여, 두 모델의 장점을 동시에 활용하고자 한다. 다양한 실험을 통해 제안하는 융합 프레임워크가 프레임 레이트에 의존하는 비디오 품질을 예측하는 데 더 효율적인 특징을 제공함을 입증한다. 또한, 표준적인 비-HFR VQA 데이터베이스에서 융합된 특징 집합을 평가한 결과, GREED 및 VMAF보다 우수한 성능을 나타내었으며, 이는 복합적인 인지적 품질 정보를 효과적으로 포착하고 있음을 시사한다.