RAPIDFlow : Pyramides récurrentes adaptables avec décodage itératif pour une estimation efficace du flux optique

L’extraction d’informations de mouvement à partir de vidéos par estimation du flux optique est essentielle dans de nombreuses applications robotiques pratiques. Les approches actuelles de flux optique atteignent une précision remarquable, mais les méthodes les plus performantes présentent des coûts computationnels élevés, les rendant inadaptées aux dispositifs embarqués. Bien que certaines études antérieures se soient concentrées sur le développement de stratégies de flux optique à faible coût, leur qualité d’estimation présente un écart notable par rapport aux méthodes plus robustes. Dans ce travail, nous proposons une nouvelle méthode permettant d’estimer efficacement un flux optique de haute qualité sur des dispositifs embarqués. Le modèle que nous introduisons, RAPIDFlow, combine des blocs de convolution NeXt1D efficaces avec une structure entièrement récurrente basée sur des pyramides de caractéristiques afin de réduire les coûts computationnels sans compromettre significativement la précision de l’estimation. L’encodeur récurrent adaptable produit des caractéristiques multi-échelles à l’aide d’un seul bloc partagé, ce qui permet d’ajuster la longueur de la pyramide en temps d’inférence et d’améliorer la robustesse aux variations de taille d’entrée. En outre, cette architecture permet à notre modèle d’offrir plusieurs compromis entre précision et vitesse, adaptés à diverses applications. Des expériences menées sur une plateforme embarquée Jetson Orin NX, sur les benchmarks publics MPI-Sintel et KITTI, montrent que RAPIDFlow surpasser les approches antérieures avec des marges significatives, tout en opérant à des vitesses plus élevées.