Correspondance par voisinage pour la synthèse de trames vidéo basée sur le flux

La synthèse de trames vidéo, qui repose sur l'interpolation et l'extrapolation, constitue une technique fondamentale de traitement vidéo applicable à diverses situations. Toutefois, la plupart des méthodes existantes peinent à traiter efficacement les objets de petite taille ou les mouvements importants, en particulier dans les vidéos haute résolution telles que les vidéos 4K. Pour surmonter ces limitations, nous proposons un algorithme de correspondance par voisinage (NCM, Neighbor Correspondence Matching) destiné à la synthèse de trames basée sur le flux optique. Étant donné que la trame courante n'est pas disponible lors de la synthèse de trames vidéo, le NCM est effectué de manière indépendante de la trame courante afin d’établir des correspondances multi-échelles dans les voisinages spatio-temporels de chaque pixel. Grâce à la puissante capacité de représentation du mouvement offerte par le NCM, nous proposons également une estimation des flux intermédiaires pour la synthèse de trames selon un schéma hétérogène de grossier à fin. Plus précisément, le module à échelle grossière est conçu pour exploiter les correspondances entre voisins afin de capturer les grands mouvements, tandis que le module à échelle fine est plus efficace sur le plan computationnel, permettant ainsi d’accélérer le processus d’estimation. Les deux modules sont entraînés progressivement afin de réduire l’écart de résolution entre les données d’entraînement et les vidéos du monde réel. Les résultats expérimentaux montrent que le NCM atteint des performances de pointe sur plusieurs benchmarks. En outre, le NCM peut être appliqué à diverses scénarios pratiques, tels que la compression vidéo, pour améliorer significativement les performances.