HyperAIHyperAI

Command Palette

Search for a command to run...

HNeRV : Une Représentation Neurale Hybride pour les Vidéos

Hao Chen Matt Gwilliam Ser-Nam Lim Abhinav Shrivastava

Résumé

Les représentations neuronales implicites stockent les vidéos sous forme de réseaux neuronaux et se sont montrées efficaces pour diverses tâches de vision, telles que la compression vidéo et le débruitage. En prenant en entrée l'indice de trame ou l'indice positionnel, les représentations implicites (NeRV, E-NeRV, etc.) reconstruisent la vidéo à partir d'embeddings fixes et indépendants du contenu. Ce type d'embedding limite considérablement la capacité de régression et la généralisation interne du modèle, en particulier pour la tâche d'interpolation vidéo. Dans ce papier, nous proposons une représentation hybride neuronale pour les vidéos (HNeRV), dans laquelle un encodeur apprenable génère des embeddings adaptatifs au contenu, qui servent d'entrée au décodeur. En plus de ces embeddings d'entrée, nous introduisons des blocs HNeRV, conçus pour assurer une répartition équilibrée des paramètres du modèle à travers l'ensemble du réseau, permettant ainsi aux couches supérieures (proches de la sortie) de disposer d'une plus grande capacité pour stocker des détails de haute résolution et des informations vidéo fines. Grâce à des embeddings adaptatifs au contenu et à une architecture redessinée, HNeRV surpasser les méthodes implicites sur les tâches de régression vidéo, tant en qualité de reconstruction (+4,7 dB PSNR) qu'en vitesse de convergence (16 fois plus rapide), tout en offrant une meilleure généralisation interne. En tant que représentation vidéo simple et efficace, HNeRV présente également des avantages significatifs en décodage en termes de vitesse, de flexibilité et de déploiement, comparée aux codecs traditionnels (H.264, H.265) et aux méthodes basées sur l'apprentissage. Enfin, nous étudions l'efficacité de HNeRV sur des tâches à valeur ajoutée, telles que la compression vidéo et le remplissage de vidéos (video inpainting). Une page de projet est disponible à l'adresse https://haochen-rye.github.io/HNeRV, et le code source est accessible sur https://github.com/haochen-rye/HNeRV.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp