HyperAIHyperAI

Command Palette

Search for a command to run...

XVFI : Interpolation Extrême de Cadres Vidéo

Hyeonjun Sim Jihyong Oh Munchurl Kim

Résumé

Dans cet article, nous présentons d'abord un ensemble de données (X4K1000FPS) composé de vidéos 4K à 1000 images par seconde (fps) avec des mouvements extrêmes à la communauté scientifique pour l'interpolation de cadres vidéo (VFI), et nous proposons un réseau VFI extrême, appelé XVFI-Net, qui gère en premier lieu l'interpolation de cadres vidéo pour les vidéos 4K avec des mouvements importants. Le XVFI-Net repose sur une structure récursive multi-échelle composée de deux modules en cascade : l'un pour l'apprentissage du flot optique bidirectionnel entre deux cadres d'entrée (BiOF-I) et l'autre pour l'apprentissage du flot optique bidirectionnel du cadre cible aux cadres d'entrée (BiOF-T). Les flots optiques sont approximés de manière stable par une inversion de flot complémentaire (CFR) proposée dans le module BiOF-T. Lors de l'inférence, le module BiOF-I peut démarrer à n'importe quelle échelle d'entrée tandis que le module BiOF-T ne fonctionne qu'à l'échelle d'entrée originale, ce qui permet d'accélérer l'inférence tout en maintenant une performance VFI très précise. De nombreux résultats expérimentaux montrent que notre réseau XVFI-Net peut capturer avec succès les informations essentielles des objets ayant des mouvements extrêmement importants et des textures complexes, alors que les méthodes les plus avancées actuellement montrent des performances médiocres. De plus, notre cadre XVFI-Net offre également des performances comparables sur les jeux de données précédents à résolution inférieure, ce qui démontre la robustesse de notre algorithme. Tous les codes sources, modèles pré-entraînés et ensembles de données X4K1000FPS proposés sont disponibles au public sur https://github.com/JihyongOh/XVFI.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp