HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

EPP-MVSNet : Prédiction de profondeur basée sur l'assemblage épipolaire pour la stéréo multi-vue

{Fan Yu Lei Chen Jingwei Huang Qirui Wang Yue Gong Xinjun Ma}

EPP-MVSNet : Prédiction de profondeur basée sur l'assemblage épipolaire pour la stéréo multi-vue

Résumé

Dans cet article, nous proposons EPP-MVSNet, un nouveau réseau de deep learning pour la reconstruction 3D à partir de stéréo à plusieurs vues (MVS). EPP-MVSNet permet d’agréger avec précision les caractéristiques à haute résolution dans un volume de coût limité, sur une plage de profondeur optimale, conduisant ainsi à une construction 3D efficace et performante. Contrairement aux approches existantes qui évaluent le coût des caractéristiques à des positions discrètes, ce qui nuit à la précision de la reconstruction 3D, EPP-MVSNet introduit un noyau fondé sur l’assemblage épipolaire, opérant sur des intervalles adaptatifs le long des lignes épipolaires, afin d’exploiter pleinement la résolution des images. Par ailleurs, nous proposons une stratégie de raffinement basée sur l’entropie, permettant au volume de coût de décrire la géométrie de l’espace avec une redondance minimale. En outre, nous avons conçu un réseau léger intégrant des convolutions pseudo-3D pour atteindre à la fois haute précision et efficacité. Nous avons mené des expérimentations étendues sur des jeux de données exigeants : Tanks & Temples (TNT), ETH3D et DTU. Les résultats obtenus sont prometteurs sur tous les jeux de données, avec le meilleur score F sur le benchmark intermédiaire en ligne de TNT. Le code est disponible à l’adresse suivante : https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/eppmvsnet.

Benchmarks

BenchmarkMéthodologieMétriques
3d-reconstruction-on-dtuEPP-MVSNet
Acc: 0.413
Comp: 0.296
Overall: 0.355
point-clouds-on-tanks-and-templesEPP-MVSNet
Mean F1 (Advanced): 35.72
Mean F1 (Intermediate): 61.68

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
EPP-MVSNet : Prédiction de profondeur basée sur l'assemblage épipolaire pour la stéréo multi-vue | Articles de recherche | HyperAI