E-NeRV : Accélérer la représentation vidéo neuronale grâce au contexte spatial-temporel désentrelacé

Récemment, la représentation neuronale implicite par image pour les vidéos, dénommée NeRV, a connu une popularité croissante en raison de ses résultats prometteurs et de sa rapidité supérieure par rapport aux représentations implicites classiques par pixel. Toutefois, les paramètres redondants présents dans la structure du réseau peuvent entraîner une taille de modèle importante lorsqu’on cherche à améliorer les performances. La cause principale de ce phénomène réside dans la formulation couplée de NeRV, qui extrait directement les informations spatiales et temporelles des trames vidéo à partir de l’indice de trame en entrée. Dans cet article, nous proposons E-NeRV, une méthode qui accélère considérablement NeRV en décomposant la représentation neuronale implicite par image en contextes spatiaux et temporels séparés. Grâce à cette nouvelle formulation, notre modèle réduit fortement les paramètres redondants tout en préservant une capacité de représentation efficace. Nos expérimentations montrent que notre approche améliore significativement les performances avec un nombre réduit de paramètres, conduisant à une accélération supérieure à 8× en vitesse de convergence. Le code est disponible à l’adresse suivante : https://github.com/kyleleey/E-NeRV.