HyperAIHyperAI

Command Palette

Search for a command to run...

DELTAS : Estimation de la profondeur par apprentissage de la triangulation et densification de points épars

Ayan Sinha Zak Murez James Bartolozzi Vijay Badrinarayanan Andrew Rabinovich

Résumé

La stéréoscopie multi-vue (MVS) représente l'équilibre idéal entre la précision de la détection de profondeur active et la praticité de l'estimation de profondeur monoculaire. Les approches basées sur le volume de coût utilisant des réseaux neuronaux convolutifs 3D (CNNs) ont considérablement amélioré la précision des systèmes MVS. Cependant, cette précision s'accompagne d'un coût computationnel élevé qui entrave leur adoption pratique. Contrairement aux approches basées sur le volume de coût, nous proposons une méthode efficace d'estimation de profondeur en procédant par trois étapes : (a) détecter et évaluer les descripteurs pour les points d'intérêt, (b) apprendre à faire correspondre et à trianguler un petit ensemble de points d'intérêt, puis (c) densifier cet ensemble épars de points 3D en utilisant des CNNs. Un réseau end-to-end effectue efficacement ces trois étapes au sein d'un cadre d'apprentissage profond et est formé avec une supervision intermédiaire à partir d'images 2D et de géométrie 3D, ainsi qu'une supervision de profondeur. De manière cruciale, notre première étape complète l'estimation de pose grâce à la détection des points d'intérêt et à l'apprentissage des descripteurs. Nous démontrons des résultats d'avant-garde en estimation de profondeur avec une charge computationnelle moindre pour différentes longueurs de scène. De plus, notre méthode se généralise bien à de nouveaux environnements et les descripteurs produits par notre réseau sont comparables aux meilleures méthodes de référence. Le code est disponible sur https://github.com/magicleap/DELTAS.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
DELTAS : Estimation de la profondeur par apprentissage de la triangulation et densification de points épars | Articles | HyperAI