HyperAIHyperAI
il y a 17 jours

Estimation de flux optique par équilibre profond

Shaojie Bai, Zhengyang Geng, Yash Savani, J. Zico Kolter
Estimation de flux optique par équilibre profond
Résumé

De nombreuses architectures récentes d’état de l’art (SOTA) pour l’estimation du flux optique reposent sur des opérations itératives récurrentes à pas fini afin de simuler des algorithmes classiques en favorisant des raffinements itératifs menant à une estimation stable du flux. Toutefois, ces réseaux de neurones récurrents (RNN) engendrent des surcoûts importants en termes de calcul et de mémoire, et ne sont pas directement entraînés pour modéliser cette estimation stable. Leur convergence peut être médiocre, entraînant une dégradation des performances. Pour remédier à ces inconvénients, nous proposons des estimateurs de flux à équilibre profond (DEQ), une approche qui résout directement le flux comme point fixe d’un niveau infini dans une couche implicite (en utilisant n’importe quel solveur noir), tout en différenciant analytiquement par rapport à ce point fixe (nécessitant ainsi une mémoire d’entraînement de l’ordre de $O(1)$). Cette approche à profondeur implicite n’est pas liée à un modèle spécifique, ce qui lui confère une grande flexibilité et permet sa mise en œuvre dans diverses architectures d’estimation de flux d’état de l’art. L’utilisation de ces estimateurs DEQ permet de calculer le flux plus rapidement grâce, par exemple, à la réutilisation du point fixe et à l’usage de gradients approchés, tout en consommant 4 à 6 fois moins de mémoire pendant l’entraînement que les approches récurrentes, tout en atteignant des résultats supérieurs avec un budget de calcul équivalent. En outre, nous proposons un nouveau schéma de correction de point fixe creux, conçu pour stabiliser nos estimateurs DEQ, répondant ainsi à un défi ancien rencontré par les modèles DEQ en général. Nous évaluons notre méthode dans diverses configurations réalistes et démontrons qu’elle améliore significativement les méthodes d’état de l’art sur les jeux de données Sintel et KITTI, avec une efficacité computationnelle et mémoire nettement accrue.

Estimation de flux optique par équilibre profond | Articles de recherche récents | HyperAI