GoMVS : Agrégation de coût géométriquement cohérente pour la stéréo multi-vue

L’agrégation des coûts joue un rôle fondamental dans les réseaux d’imagerie stéréo multi-vues basés sur l’apprentissage. Toutefois, une agrégation directe des coûts adjacents peut entraîner des résultats sous-optimaux en raison d’incohérences géométriques locales. Les méthodes existantes cherchent soit à réaliser une agrégation sélective, soit à améliorer la profondeur agrégée dans l’espace 2D, mais aucune ne parvient efficacement à traiter l’incohérence géométrique au sein du volume de coûts. Dans ce travail, nous proposons GoMVS, une méthode d’agrégation de coûts géométriquement cohérents, permettant une meilleure exploitation des géométries adjacentes. Plus précisément, nous établissons et propageons les coûts adjacents vers le pixel de référence en exploitant la régularité géométrique locale conjointement avec les normales de surface. Cette opération est réalisée grâce au module de propagation cohérente géométriquement (GCP). Ce dernier calcule la correspondance entre l’espace des hypothèses de profondeur adjacente et l’espace de profondeur de référence à l’aide des normales de surface, puis utilise cette correspondance pour propager les coûts adjacents vers la géométrie de référence, avant d’appliquer une convolution pour l’agrégation. Notre méthode atteint de nouveaux états de l’art sur les jeux de données DTU, Tanks & Temple et ETH3D. Notamment, elle obtient la première place sur le benchmark Advanced de Tanks & Temple.