HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Filtres convolutionnels conscients de la distortion pour la prédiction dense dans les images panoramiques

{Keisuke Tateno Federico Tombari Nassir Navab}

Filtres convolutionnels conscients de la distortion pour la prédiction dense dans les images panoramiques

Résumé

La demande croissante de données 3D pour les images et vidéos panoramiques à 360° est stimulée par la disponibilité grandissante sur le marché de matériels spécialisés à la fois pour la capture (par exemple, caméras omnidirectionnelles) et pour la visualisation en 3D (par exemple, affichages montés sur tête). Parallèlement, les capteurs 3D capables de capturer des données panoramiques 3D restent coûteux et/ou difficiles à obtenir. Pour combler cet écart, nous proposons une approche d’apprentissage visant à estimer la carte de profondeur panoramique à partir d’une seule image. Grâce à un filtre de convolution déformable spécifiquement conçu pour tenir compte des distorsions, notre méthode peut être entraînée à l’aide d’images perspectives conventionnelles, puis utilisée pour prédire la profondeur des images panoramiques, évitant ainsi l’effort nécessaire à la création d’un ensemble d’entraînement annoté pour les images panoramiques. Nous démontrons également l’efficacité de notre approche pour des tâches émergentes telles que la SLAM monocabine panoramique, la segmentation sémantique panoramique et le transfert de style panoramique.

Benchmarks

BenchmarkMéthodologieMétriques
depth-estimation-on-stanford2d3d-panoramicDisConv
RMSE: 0.369
absolute relative error: 0.176
semantic-segmentation-on-stanford2d3d-1DisConv
mIoU: 34.6%

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Filtres convolutionnels conscients de la distortion pour la prédiction dense dans les images panoramiques | Articles de recherche | HyperAI