Évaluation de la Qualité des Vidéos en Conditions Réelles

L'évaluation de la qualité des vidéos en conditions réelles est un problème complexe en raison de l'absence de vidéos de référence et des distorsions d'enregistrement. La connaissance du système visuel humain peut aider à établir des méthodes d'évaluation objective de la qualité des vidéos en conditions réelles. Dans cette étude, nous montrons que deux effets notables du système visuel humain, à savoir la dépendance au contenu et les effets de mémoire temporelle, peuvent être utilisés à cette fin. Nous proposons une méthode d'évaluation objective de la qualité vidéo sans référence en intégrant ces deux effets dans un réseau neuronal profond. Pour la dépendance au contenu, nous extrayons des caractéristiques d'un réseau neuronal pré-entraîné pour sa propriété inhérente de prise en compte du contenu. Pour les effets de mémoire temporelle, les dépendances à long terme, en particulier l'hystérésis temporelle, sont intégrées dans le réseau avec une unité récurrente à porte (gated recurrent unit) et une couche de regroupement temporel inspirée par la perception subjective. Afin de valider les performances de notre méthode, des expériences ont été menées sur trois bases de données publiques d'évaluation de la qualité vidéo en conditions réelles : KoNViD-1k, CVD2014 et LIVE-Qualcomm. Les résultats expérimentaux montrent que notre méthode proposée surpass largement cinq méthodes d'avant-garde (state-of-the-art), avec des améliorations globales respectivement de 12,39 %, 15,71 %, 15,45 % et 18,09 % en termes de SROCC (Spearman Rank Order Correlation Coefficient), KROCC (Kendall Rank Order Correlation Coefficient), PLCC (Pearson Linear Correlation Coefficient) et RMSE (Root Mean Square Error) par rapport à la deuxième meilleure méthode VBLIINDS. De plus, l'étude par suppression (ablation study) vérifie le rôle crucial des caractéristiques sensibles au contenu et du modèle des effets de mémoire temporelle. L'implémentation PyTorch de notre méthode est disponible sur https://github.com/lidq92/VSFA.