HyperAIHyperAI

Command Palette

Search for a command to run...

FLAVR : Représentations Vidéo Indépendantes du Flot pour une Interpolation Rapide des Images Fixes

Kalluri Tarun ; Pathak Deepak ; Chandraker Manmohan ; Tran Du

Résumé

La plupart des méthodes d'interpolation de trames vidéo calculent le flot optique bidirectionnel entre les trames adjacentes d'une vidéo, suivi d'un algorithme de déformation approprié pour générer les trames de sortie. Cependant, les approches basées sur le flot optique échouent souvent à modéliser directement les occultations et les mouvements complexes non linéaires à partir de la vidéo et introduisent des goulets d'étranglement supplémentaires incompatibles avec un déploiement généralisé. Nous abordons ces limitations avec FLAVR (Flexible and Accurate Video frame Reconstruction), une architecture flexible et efficace qui utilise des convolutions spatio-temporelles 3D pour permettre l'apprentissage et l'inférence bout-à-bout pour l'interpolation de trames vidéo. Notre méthode apprend efficacement à raisonner sur les mouvements non linéaires, les occultations complexes et les abstractions temporelles, ce qui se traduit par une meilleure performance en interpolation vidéo tout en n'exigeant aucun autre input sous forme de flot optique ou de cartes de profondeur. Grâce à sa simplicité, FLAVR peut offrir une vitesse d'inférence 3 fois plus rapide que la méthode actuellement la plus précise pour l'interpolation multi-trame sans compromettre la précision de l'interpolation. De plus, nous évaluons FLAVR dans une gamme étendue de configurations difficiles et montrons constamment des résultats qualitatifs et quantitatifs supérieurs par rapport aux méthodes antérieures sur divers benchmarks populaires tels que Vimeo-90K, UCF101, DAVIS, Adobe et GoPro. Enfin, nous démontrons que FLAVR pour l'interpolation de trames vidéo peut servir de tâche prétexte auto-supervisée utile pour la reconnaissance d'actions, l'estimation du flot optique et l'amplification du mouvement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
FLAVR : Représentations Vidéo Indépendantes du Flot pour une Interpolation Rapide des Images Fixes | Articles | HyperAI