Évaluation de la qualité vidéo à taux d’images élevé utilisant VMAF et les différences entropiques

La popularité croissante des vidéos en streaming présentant un contenu en direct et à forte action a suscité un intérêt accru pour les vidéos à taux de trame élevé (High Frame Rate, HFR). Dans ce travail, nous abordons le problème de l’évaluation de la qualité vidéo dépendante du taux de trame (VQA) lorsque les vidéos à comparer présentent des taux de trame et des facteurs de compression différents. Les modèles actuels de VQA, tels que VMAF, présentent une corrélation supérieure avec les jugements perceptuels lorsque les vidéos comparées ont le même taux de trame et contiennent des distorsions conventionnelles, comme la compression ou le redimensionnement. Toutefois, ce cadre nécessite une étape de prétraitement supplémentaire lorsqu’il s’agit de comparer des vidéos à des taux de trame différents, ce qui peut potentiellement limiter ses performances globales. Récemment, le modèle VQA appelé GREED (Generalized Entropic Difference) a été proposé pour tenir compte des artefacts induits par les variations de taux de trame, et a démontré des performances supérieures sur la base de données LIVE-YT-HFR, qui contient des artefacts dépendants du taux de trame tels que le judder ou le clignotement. Dans cet article, nous proposons une extension simple, consistant à fusionner les caractéristiques issues de VMAF et de GREED, afin d’exploiter les avantages des deux modèles. À travers diverses expérimentations, nous montrons que le cadre de fusion proposé permet d’obtenir des caractéristiques plus efficaces pour prédire la qualité vidéo dépendante du taux de trame. Nous évaluons également l’ensemble de caractéristiques fusionnées sur des bases de données standard de VQA non-HFR, où il obtient des performances supérieures à celles de GREED et de VMAF individuellement, indiquant que l’ensemble combiné de caractéristiques capte des informations perceptuelles complémentaires sur la qualité vidéo.