HyperAIHyperAI

Command Palette

Search for a command to run...

Échantillonnage par représentants de voisinage pour une évaluation efficace de la qualité vidéo end-to-end

Haoning Wu Chaofeng Chen Liang Liao Jingwen Hou Wenxiu Sun Qiong Yan Jinwei Gu Weisi Lin

Résumé

L’augmentation de la résolution des vidéos du monde réel pose un dilemme entre efficacité et précision pour l’évaluation profonde de la qualité vidéo (VQA). D’un côté, conserver la résolution d’origine entraîne des coûts computationnels inacceptables. De l’autre, les pratiques existantes, telles que le redimensionnement ou le découpage (cropping), modifient la qualité des vidéos d’origine en entraînant une perte de détails et de contenu, ce qui nuit ainsi à l’évaluation de la qualité. Inspirés par les observations issues de l’étude de la redondance spatio-temporelle dans le système visuel humain et de la théorie du codage visuel, nous constatons que les informations de qualité dans un voisinage sont généralement similaires, ce qui nous motive à explorer un schéma efficace de représentants de voisinage sensible à la qualité pour la VQA. Dans ce travail, nous proposons un schéma unifié, nommé échantillonnage par mini-cubes sur grille spatio-temporelle (St-GMS), permettant d’obtenir un nouveau type d’échantillon appelé « fragments ». Les vidéos en pleine résolution sont d’abord divisées en mini-cubes selon une grille spatio-temporelle prédéfinie, puis des représentants de qualité alignés temporellement sont échantillonnés afin de constituer les fragments, qui servent d’entrée à la VQA. Par ailleurs, nous avons conçu le Fragment Attention Network (FANet), une architecture de réseau spécifiquement adaptée aux fragments. Grâce aux fragments et au FANet, les méthodes proposées FAST-VQA et FasterVQA, entièrement end-to-end et efficaces, surpassent significativement les approches existantes sur tous les benchmarks de VQA, tout en nécessitant seulement 1/1612 des FLOPs par rapport à l’état de l’art actuel. Les codes, modèles et démonstrations sont disponibles à l’adresse suivante : https://github.com/timothyhtimothy/FAST-VQA-and-FasterVQA.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp