HyperAIHyperAI

Command Palette

Search for a command to run...

Consistance et prise de conscience d’échelle multimodale pour l’estimation de profondeur auto-supervisée à partir d’une seule vue

Hemang Chawla Arnav Varma Elahe Arani Bahram Zonooz

Résumé

L’estimation dense de profondeur est essentielle à la compréhension de scène pour les véhicules autonomes. Toutefois, les approches récentes auto-supervisées basées sur des vidéos monoculaires souffrent d’une incohérence d’échelle sur de longues séquences. En exploitant les données provenant des systèmes de positionnement global (GPS) omniprésents, nous abordons ce défi en proposant une perte dynamiquement pondérée GPS-to-Scale (g2s) afin de compléter les pertes basées sur l’apparence. Nous soulignons que le GPS n’est nécessaire qu’en phase d’entraînement multimodal, et non lors de l’inférence. La distance relative entre les cadres capturée via le GPS fournit un signal d’échelle indépendant de la configuration de la caméra et de la distribution de la scène, conduisant à des représentations de caractéristiques apprises plus riches. Grâce à une évaluation approfondie sur plusieurs jeux de données, nous démontrons une estimation de profondeur cohérente et consciente de l’échelle lors de l’inférence, améliorant les performances même lorsqu’un entraînement est effectué avec des données GPS à faible fréquence.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Consistance et prise de conscience d’échelle multimodale pour l’estimation de profondeur auto-supervisée à partir d’une seule vue | Articles | HyperAI