Réseau à noyau partiel récurrent pour une estimation efficace du flux optique

L’estimation du flux optique constitue une tâche difficile consistant à prédire des vecteurs de mouvement par pixel entre deux images. Les méthodes récentes ont recouru à des modèles de plus en plus grands et complexes afin d’améliorer la précision de l’estimation. Toutefois, cela freine l’adoption généralisée des méthodes de flux optique et complique l’entraînement de modèles plus généraux, en raison de la difficulté d’obtention de données de flux optique. Ce papier propose un modèle petit et efficace pour l’estimation du flux optique. Nous avons conçu un nouvel encodeur récurrent spatial qui extrait des caractéristiques discriminantes à une taille considérablement réduite. Contrairement aux unités récurrentes classiques, nous utilisons des couches de convolution à noyau partiel (PKConv) pour générer des caractéristiques multi-échelles variables à l’aide d’un seul bloc partagé. Nous avons également conçu des noyaux larges séparables (SLK) efficaces afin de capturer des informations contextuelles étendues avec un coût computationnel faible. Les expériences sur des benchmarks publics montrent que notre modèle atteint des performances de généralisation de pointe tout en nécessitant significativement moins de paramètres et de mémoire que les méthodes concurrentes. Notre modèle obtient la première place sur le benchmark Spring sans fine-tuning, améliorant les résultats de plus de 10 % tout en exigeant un ordre de grandeur moins d’opérations flottantes (FLOPs) et plus de quatre fois moins de mémoire que la méthode publiée suivante, sans ajustage fin.