Command Palette
Search for a command to run...
CONVIQT : Estimateur contrastif de qualité vidéo
CONVIQT : Estimateur contrastif de qualité vidéo
Pavan C. Madhusudana Neil Birkbeck Yilin Wang Balu Adsumilli Alan C. Bovik
Résumé
L’évaluation de la qualité vidéo perceptuelle (VQA) constitue un élément essentiel de nombreuses plateformes de diffusion vidéo et de partage de contenus vidéo. Dans ce travail, nous abordons le problème de l’apprentissage de représentations de qualité vidéo pertinentes du point de vue perceptuel de manière auto-supervisée. Une tâche auxiliaire, consistant à identifier le type de distortion et à déterminer le niveau de dégradation, est utilisée pour entraîner un modèle d’apprentissage profond comprenant un réseau neuronal convolutif (CNN) profond pour extraire des caractéristiques spatiales, ainsi qu’une unité récurrente pour capturer les informations temporelles. Le modèle est entraîné à l’aide d’une perte contrastive, d’où le nom donné à ce cadre d’entraînement et au modèle résultant : CONtrastive VIdeo Quality EstimaTor (CONVIQT). Lors de l’évaluation, les poids du modèle entraîné sont gelés, et un régresseur linéaire mappe les caractéristiques apprises vers des scores de qualité dans un cadre sans référence (NR). Nous menons des évaluations approfondies du modèle proposé sur plusieurs bases de données VQA en analysant la corrélation entre les prédictions du modèle et les notes de qualité réelles, et obtenons des performances compétitives par rapport aux modèles d’état de l’art en VQA sans référence (NR-VQA), bien que le modèle n’ait pas été entraîné sur ces bases. Nos expériences d’ablation démontrent que les représentations apprises sont très robustes et se généralisent efficacement aux distorsions synthétiques comme aux distorsions réalistes. Nos résultats indiquent qu’il est possible d’obtenir des représentations puissantes et pertinentes du point de vue perceptuel grâce à l’apprentissage auto-supervisé. Les implémentations utilisées dans ce travail sont disponibles à l’adresse suivante : https://github.com/pavancm/CONVIQT.