HyperAIHyperAI

Command Palette

Search for a command to run...

CONVIQT : Estimateur contrastif de qualité vidéo

Pavan C. Madhusudana Neil Birkbeck Yilin Wang Balu Adsumilli Alan C. Bovik

Résumé

L’évaluation de la qualité vidéo perceptuelle (VQA) constitue un élément essentiel de nombreuses plateformes de diffusion vidéo et de partage de contenus vidéo. Dans ce travail, nous abordons le problème de l’apprentissage de représentations de qualité vidéo pertinentes du point de vue perceptuel de manière auto-supervisée. Une tâche auxiliaire, consistant à identifier le type de distortion et à déterminer le niveau de dégradation, est utilisée pour entraîner un modèle d’apprentissage profond comprenant un réseau neuronal convolutif (CNN) profond pour extraire des caractéristiques spatiales, ainsi qu’une unité récurrente pour capturer les informations temporelles. Le modèle est entraîné à l’aide d’une perte contrastive, d’où le nom donné à ce cadre d’entraînement et au modèle résultant : CONtrastive VIdeo Quality EstimaTor (CONVIQT). Lors de l’évaluation, les poids du modèle entraîné sont gelés, et un régresseur linéaire mappe les caractéristiques apprises vers des scores de qualité dans un cadre sans référence (NR). Nous menons des évaluations approfondies du modèle proposé sur plusieurs bases de données VQA en analysant la corrélation entre les prédictions du modèle et les notes de qualité réelles, et obtenons des performances compétitives par rapport aux modèles d’état de l’art en VQA sans référence (NR-VQA), bien que le modèle n’ait pas été entraîné sur ces bases. Nos expériences d’ablation démontrent que les représentations apprises sont très robustes et se généralisent efficacement aux distorsions synthétiques comme aux distorsions réalistes. Nos résultats indiquent qu’il est possible d’obtenir des représentations puissantes et pertinentes du point de vue perceptuel grâce à l’apprentissage auto-supervisé. Les implémentations utilisées dans ce travail sont disponibles à l’adresse suivante : https://github.com/pavancm/CONVIQT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp