HyperAIHyperAI

Command Palette

Search for a command to run...

FeatureFlow : Interpolation vidéo robuste par génération de structure vers texture

Dacheng Tao Qihua Chen Chaoyue Wang Shurui Gui

Résumé

L'interpolation vidéo vise à synthétiser des images intermédiaires absentes entre deux cadres consécutifs. Bien que les méthodes basées sur le flux optique existantes aient obtenu des résultats prometteurs, elles rencontrent encore de grandes difficultés lors de l'interpolation dans des scènes dynamiques complexes, caractérisées par des occlusions, du flou ou des changements brusques d'intensité lumineuse. Cela s'explique principalement par le fait que ces situations peuvent violer les hypothèses fondamentales de l'estimation du flux optique (notamment la régularité et la cohérence). Dans ce travail, nous proposons un nouveau cadre de génération structurée-texture, qui décompose la tâche d'interpolation vidéo en deux étapes : une interpolation guidée par la structure, suivie d'une révision des textures. Dans la première étape, des caractéristiques profondes sensibles à la structure sont utilisées pour prédire les flux de caractéristiques entre deux cadres consécutifs et leur résultat intermédiaire, puis pour générer l'image structurelle du cadre intermédiaire. Dans la deuxième étape, à partir du résultat grossier ainsi obtenu, un Compensateur de Texture de Cadre est entraîné afin de restaurer les détails texturels. À notre connaissance, il s'agit du premier travail qui tente de générer directement le cadre intermédiaire par combinaison de caractéristiques profondes. Des expériences menées sur des jeux de données standard ainsi que sur des cas difficiles d'occlusion démontrent l'efficacité supérieure du cadre proposé par rapport aux méthodes de pointe. Le code source est disponible à l'adresse suivante : https://github.com/CM-BF/FeatureFlow.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
FeatureFlow : Interpolation vidéo robuste par génération de structure vers texture | Articles | HyperAI