HVS Revisited : Un cadre complet d'évaluation de la qualité vidéo
La qualité vidéo constitue une préoccupation majeure pour les fournisseurs de services vidéo. Ces dernières années, les techniques d’évaluation de la qualité vidéo (VQA) basées sur les réseaux neuronaux convolutifs profonds (CNN) se sont développées rapidement. Bien que les travaux existants tentent d’intégrer les connaissances du système visuel humain (HVS) dans la VQA, des limites subsistent, empêchant une exploitation optimale de ce système : notamment un modèle incomplet fondé sur un nombre restreint de caractéristiques, ainsi qu’une connexion insuffisante entre celles-ci. Pour surmonter ces limitations, cet article réexamine le HVS à travers cinq caractéristiques représentatives, tout en réorganisant de manière plus cohérente leurs interactions. À partir de cette nouvelle modélisation du HVS, nous proposons un cadre de VQA sans référence (NRVQA) nommé HVS-5M (framework NRVQA à cinq modules simulant cinq caractéristiques du HVS). Ce cadre repose sur un paradigme de fusion de domaines, intégrant des architectures réseau avancées. Du côté du domaine spatial, le module de salience visuelle utilise SAMNet pour extraire une carte de salience. Ensuite, les modules de dépendance au contenu et de masquage des contours exploitent respectivement ConvNeXt pour extraire des caractéristiques spatiales, pondérées de manière attentive par la carte de salience afin de mettre en évidence les régions susceptibles d’intéresser l’observateur humain. Du côté du domaine temporel, afin de compléter les caractéristiques spatiales statiques, le module de perception du mouvement utilise SlowFast pour extraire des caractéristiques dynamiques temporelles. Par ailleurs, le module d’hystérésis temporelle applique TempHyst pour simuler le mécanisme de mémoire humaine, et évalue de manière globale le score de qualité à partir des caractéristiques fusionnées provenant des domaines spatial et temporel. Des expérimentations étendues montrent que notre modèle HVS-5M surpasser les méthodes de VQA de pointe. Des études d’ablation sont également menées afin de valider l’efficacité de chaque module au sein du cadre proposé.