HyperAIHyperAI
il y a 2 mois

LiteFlowNet : Un réseau neuronal convolutif léger pour l'estimation du flot optique

Tak-Wai Hui; Xiaoou Tang; Chen Change Loy
LiteFlowNet : Un réseau neuronal convolutif léger pour l'estimation du flot optique
Résumé

FlowNet2, le réseau neuronal convolutif (CNN) de pointe pour l'estimation du flot optique, nécessite plus de 160 millions de paramètres pour atteindre une estimation précise du flot. Dans cet article, nous présentons un réseau alternatif qui surpasse FlowNet2 sur les benchmarks difficiles Sintel final pass et KITTI, tout en étant 30 fois plus petit en termes de taille du modèle et 1,36 fois plus rapide en termes de vitesse d'exécution. Cela est rendu possible grâce à une analyse approfondie des détails architecturaux qui auraient pu être négligés dans les cadres actuels : (1) Nous proposons une approche d'inférence du flot plus efficace à chaque niveau de la pyramide grâce à un réseau en cascade léger. Non seulement elle améliore la précision de l'estimation du flot par une correction précoce, mais elle permet également une intégration fluide de l'appariement descripteur dans notre réseau. (2) Nous introduisons une nouvelle couche de régularisation du flot pour atténuer le problème des valeurs aberrantes et des frontières floues du flot en utilisant une convolution locale guidée par les caractéristiques. (3) Notre réseau possède une structure efficace pour l'extraction pyramidale des caractéristiques et adopte le warp des caractéristiques plutôt que le warp des images, comme c'est le cas dans FlowNet2. Notre code source et nos modèles entraînés sont disponibles à l'adresse suivante : https://github.com/twhui/LiteFlowNet .

LiteFlowNet : Un réseau neuronal convolutif léger pour l'estimation du flot optique | Articles de recherche récents | HyperAI