Command Palette
Search for a command to run...
Apprentissage de la rélocalisation de caméra à vue multiple avec des réseaux neuronaux graphes
{ Junqiu Wang Shaojun Cai Xin Wu Fei Xue}

Résumé
Nous proposons de construire un graphe de vue afin d’extraire l’information complète de la séquence donnée pour l’estimation absolue de la pose de la caméra. Plus précisément, nous utilisons des réseaux de neurones graphiques (GNN) pour modéliser ce graphe, permettant ainsi aux cadres non consécutifs de s’échanger mutuellement des informations. Contrairement à une utilisation directe des GNN classiques, nous redéfinissons les nœuds, les arêtes et les fonctions d’encodage afin de mieux adapter le modèle à la tâche de rélocalisation. Les GNN redessinés coopèrent avec les réseaux de neurones convolutifs (CNN) respectivement pour guider la propagation des connaissances et l’extraction de caractéristiques, afin de traiter itérativement des caractéristiques d’images multi-vues de haute dimension à différents niveaux. Par ailleurs, une fonction de perte générale basée sur les graphes, dépassant les contraintes entre vues consécutives, est employée pour entraîner le réseau de manière end-to-end. Des expériences étendues menées sur des jeux de données intérieurs et extérieurs démontrent que notre méthode surpasser les approches précédentes, en particulier dans des scénarios à grande échelle et complexes.
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| camera-localization-on-oxford-robotcar-full | GNNMapNet | Mean Translation Error: 17.35 |
| visual-localization-on-oxford-robotcar-full | GNNMapNet | Mean Translation Error: 17.35 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.