HyperAIHyperAI

Command Palette

Search for a command to run...

Correspondance par voisinage pour la synthèse de trames vidéo basée sur le flux

Zhaoyang Jia Yan Lu Houqiang Li

Résumé

La synthèse de trames vidéo, qui repose sur l'interpolation et l'extrapolation, constitue une technique fondamentale de traitement vidéo applicable à diverses situations. Toutefois, la plupart des méthodes existantes peinent à traiter efficacement les objets de petite taille ou les mouvements importants, en particulier dans les vidéos haute résolution telles que les vidéos 4K. Pour surmonter ces limitations, nous proposons un algorithme de correspondance par voisinage (NCM, Neighbor Correspondence Matching) destiné à la synthèse de trames basée sur le flux optique. Étant donné que la trame courante n'est pas disponible lors de la synthèse de trames vidéo, le NCM est effectué de manière indépendante de la trame courante afin d’établir des correspondances multi-échelles dans les voisinages spatio-temporels de chaque pixel. Grâce à la puissante capacité de représentation du mouvement offerte par le NCM, nous proposons également une estimation des flux intermédiaires pour la synthèse de trames selon un schéma hétérogène de grossier à fin. Plus précisément, le module à échelle grossière est conçu pour exploiter les correspondances entre voisins afin de capturer les grands mouvements, tandis que le module à échelle fine est plus efficace sur le plan computationnel, permettant ainsi d’accélérer le processus d’estimation. Les deux modules sont entraînés progressivement afin de réduire l’écart de résolution entre les données d’entraînement et les vidéos du monde réel. Les résultats expérimentaux montrent que le NCM atteint des performances de pointe sur plusieurs benchmarks. En outre, le NCM peut être appliqué à diverses scénarios pratiques, tels que la compression vidéo, pour améliorer significativement les performances.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Correspondance par voisinage pour la synthèse de trames vidéo basée sur le flux | Articles | HyperAI