AA-RMVSNet : Réseau stéréo multi-vues récurrent avec agrégation adaptative

Dans cet article, nous présentons un nouveau réseau stéréo multi-vues récurrent basé sur les mémoires à court et long terme (LSTM) avec agrégation adaptative, nommé AA-RMVSNet. Nous introduisons d'abord un module d'agrégation intra-vue pour extraire de manière adaptative les caractéristiques des images en utilisant des convolutions contextuelles et une agrégation multi-échelle, ce qui améliore efficacement les performances dans les régions difficiles, telles que les objets fins et les grandes surfaces peu texturées. Pour surmonter la difficulté des occultations variables dans des scènes complexes, nous proposons un module d'agrégation de volume de coût inter-vue pour l'agrégation visuelle adaptative au niveau du pixel, capable de préserver les paires mieux appariées parmi toutes les vues. Les deux modules d'agrégation adaptative proposés sont légers, efficaces et complémentaires en termes d'amélioration de la précision et de la complétude de la reconstruction 3D. Au lieu des CNNs 3D conventionnels, nous utilisons un réseau hybride doté d'une structure récurrente pour la régularisation du volume de coût, ce qui permet une reconstruction haute résolution et une balayage hypothétique plus fin des plans. Le réseau proposé est formé de manière end-to-end et obtient d'excellents résultats sur diverses bases de données. Il occupe le premier rang parmi toutes les soumissions sur le benchmark Tanks and Temples et obtient des résultats compétitifs sur le dataset DTU, démontrant ainsi une forte généralisabilité et robustesse. L'implémentation de notre méthode est disponible à l'adresse suivante : https://github.com/QT-Zhu/AA-RMVSNet.