Command Palette
Search for a command to run...
EPP-MVSNet : Prédiction de profondeur basée sur l'assemblage épipolaire pour la stéréo multi-vue
{Fan Yu Lei Chen Jingwei Huang Qirui Wang Yue Gong Xinjun Ma}

Résumé
Dans cet article, nous proposons EPP-MVSNet, un nouveau réseau de deep learning pour la reconstruction 3D à partir de stéréo à plusieurs vues (MVS). EPP-MVSNet permet d’agréger avec précision les caractéristiques à haute résolution dans un volume de coût limité, sur une plage de profondeur optimale, conduisant ainsi à une construction 3D efficace et performante. Contrairement aux approches existantes qui évaluent le coût des caractéristiques à des positions discrètes, ce qui nuit à la précision de la reconstruction 3D, EPP-MVSNet introduit un noyau fondé sur l’assemblage épipolaire, opérant sur des intervalles adaptatifs le long des lignes épipolaires, afin d’exploiter pleinement la résolution des images. Par ailleurs, nous proposons une stratégie de raffinement basée sur l’entropie, permettant au volume de coût de décrire la géométrie de l’espace avec une redondance minimale. En outre, nous avons conçu un réseau léger intégrant des convolutions pseudo-3D pour atteindre à la fois haute précision et efficacité. Nous avons mené des expérimentations étendues sur des jeux de données exigeants : Tanks & Temples (TNT), ETH3D et DTU. Les résultats obtenus sont prometteurs sur tous les jeux de données, avec le meilleur score F sur le benchmark intermédiaire en ligne de TNT. Le code est disponible à l’adresse suivante : https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/eppmvsnet.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| 3d-reconstruction-on-dtu | EPP-MVSNet | Acc: 0.413 Comp: 0.296 Overall: 0.355 |
| point-clouds-on-tanks-and-temples | EPP-MVSNet | Mean F1 (Advanced): 35.72 Mean F1 (Intermediate): 61.68 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.