Command Palette
Search for a command to run...
Estimation du flux optique à l'aide d'un réseau à pyramide spatiale
Estimation du flux optique à l'aide d'un réseau à pyramide spatiale
Ranjan Anurag Black Michael J.
Résumé
Nous apprenons à calculer le flux optique en combinant une formulation classique à pyramide spatiale avec l’apprentissage profond. Cette approche estime les grands déplacements selon une stratégie grossier-à-fin, en déformant une image d’une paire à chaque niveau de la pyramide selon l’estimation actuelle du flux, puis en calculant une mise à jour du flux. Contrairement à la minimisation classique d’une fonction objectif à chaque niveau de la pyramide, nous entraînons un réseau neuronal profond par niveau pour calculer cette mise à jour du flux. À la différence de l’approche récente FlowNet, les réseaux n’ont pas à traiter directement les grands déplacements, qui sont gérés par la structure pyramidale. Cette approche présente plusieurs avantages. Premièrement, notre réseau à pyramide spatiale (SPyNet) est beaucoup plus simple et 96 % plus petit que FlowNet en termes de nombre de paramètres. Cela le rend plus efficace et mieux adapté aux applications embarquées. Deuxièmement, puisque le flux à chaque niveau de la pyramide est faible (inférieur à 1 pixel), une approche convolutive appliquée aux paires d’images déformées s’avère appropriée. Troisièmement, contrairement à FlowNet, les filtres convolutifs appris ressemblent davantage aux filtres spatio-temporels classiques, ce qui offre des perspectives sur la méthode et des pistes pour son amélioration. Nos résultats dépassent ceux de FlowNet sur la plupart des benchmarks standards, suggérant une nouvelle voie pour combiner les méthodes classiques de calcul du flux optique avec l’apprentissage profond.