HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de fusion local-global pour la super-résolution vidéo

Xinyi Peng Xianfang Sun Longcun Jin Hua Wang Dewei Su

Résumé

L’objectif de la technique de super-résolution vidéo est de résoudre le problème du restauration efficace de vidéos à haute résolution (HR) à partir de vidéos à basse résolution (LR). Les méthodes précédentes ont généralement recours au flux optique pour aligner les trames et ont conçu des architectures à partir des perspectives spatiale et temporelle. Toutefois, une estimation imprécise du flux optique peut facilement survenir, entraînant des effets de restauration insatisfaisants. En outre, la fusion efficace des caractéristiques provenant de différentes trames vidéo reste un défi majeur. Dans cet article, nous proposons un Réseau de Fusion Locale-Global (LGFN) afin de résoudre ces problèmes sous une nouvelle perspective. À la place du flux optique, nous utilisons des convolutions déformables (DCs) associées à des unités de convolution multi-dilatée réduites (DMDCUs) pour réaliser un alignement implicite efficace. Par ailleurs, nous introduisons une architecture à deux branches composée d’un Module de Fusion Locale (LFM) et d’un Module de Fusion Globale (GFM), permettant de combiner l’information selon deux angles distincts. Plus précisément, le LFM se concentre sur les relations entre trames adjacentes tout en préservant la cohérence temporelle, tandis que le GFM exploite de manière globale toutes les caractéristiques pertinentes via une stratégie de mélange vidéo (video shuffle). Grâce à notre architecture avancée, les résultats expérimentaux sur plusieurs jeux de données montrent que notre LGFN atteint non seulement des performances comparables aux méthodes de pointe, mais possède également une capacité fiable pour restaurer divers types de trames vidéo. Les résultats obtenus sur des jeux de données standard sont disponibles à l’adresse suivante : https://github.com/BIOINSu/LGFN, et le code source sera publié dès l’acceptation de l’article.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp