HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de représentations neurales intervidéo pour une interpolation de trames de haute qualité

Wentao Shangguan Yu Sun Weijie Gan Ulugbek S. Kamilov

Résumé

Ce papier aborde le problème de l’interpolation vidéo temporelle, dont l’objectif consiste à synthétiser un nouveau cadre vidéo à partir de ses deux cadres voisins. Nous proposons CURE (Cross-Video Neural Representation), la première méthode d’interpolation vidéo fondée sur les champs neuronaux (Neural Fields, NF). Les champs neuronaux désignent une classe récente de méthodes pour la représentation neuronale de scènes 3D complexes, qui ont connu un succès considérable et une application étendue en vision par ordinateur. CURE représente la vidéo comme une fonction continue paramétrée par un réseau neuronal basé sur les coordonnées, dont les entrées sont les coordonnées spatiotemporelles et les sorties correspondent aux valeurs RGB correspondantes. CURE introduit une nouvelle architecture qui conditionne le réseau neuronal sur les cadres d’entrée afin d’imposer une cohérence espace-temps dans la vidéo synthétisée. Cette approche améliore non seulement la qualité finale de l’interpolation, mais permet également à CURE d’apprendre un modèle a priori à travers plusieurs vidéos. Les évaluations expérimentales montrent que CURE atteint un état de l’art sur plusieurs jeux de données standards d’interpolation vidéo.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp