Estimation de profondeur d'images stéréoscopiques en temps réel sur les appareils mobiles

De nombreuses applications d'estimation de profondeur stéréoscopique en robotique nécessitent la génération de cartes de disparité précises en temps réel sous des contraintes informatiques importantes. Les algorithmes actuels les plus performants imposent un choix entre générer des cartographies précises à un rythme lent ou produire rapidement des cartographies imprécises, et ces méthodes nécessitent généralement beaucoup trop de paramètres pour être utilisables sur des appareils soumis à des contraintes d'énergie ou de mémoire. Animés par ces insuffisances, nous proposons une nouvelle approche pour la prédiction de disparité dans le cadre "anytime" (à tout moment). Contrairement aux travaux antérieurs, notre approche apprise de bout en bout peut échanger calcul et précision au moment de l'inférence. L'estimation de profondeur est effectuée par étapes, durant lesquelles le modèle peut être interrogé à tout moment pour fournir sa meilleure estimation actuelle. Notre modèle final peut traiter des images de résolution 1242 × 375 dans une plage de 10 à 35 images par seconde sur un module NVIDIA Jetson TX2 avec seulement des augmentations marginales d'erreur -- en utilisant deux ordres de grandeur moins de paramètres que la ligne de base la plus compétitive. Le code source est disponible à l'adresse https://github.com/mileyan/AnyNet .