HyperAIHyperAI

Command Palette

Search for a command to run...

DSGN++ : Exploitation de la relation visuelle- spatiale pour les détecteurs 3D basés sur la stéréoscopie

Yilun Chen, Student Member, IEEE, Shijia Huang, Student Member, IEEE, Shu Liu, Member, IEEE, Bei Yu, Member, IEEE, Jiaya Jia, Fellow, IEEE

Résumé

Les détecteurs d'objets 3D basés sur caméra sont appréciés en raison de leur déploiement plus large et de leur coût inférieur à celui des capteurs LiDAR. Nous revisitons d'abord le détecteur stéréo DSGN pour ses méthodes de construction de volume stéréo représentant à la fois la géométrie 3D et les sémantiques. Nous affinons le modèle stéréo et proposons une version avancée, DSGN++, visant à améliorer le flux d'information efficace tout au long du pipeline 2D-3D sous trois aspects principaux. Premièrement, pour élever efficacement l'information 2D vers le volume stéréo, nous proposons un balayage plan par profondeur (Depth-wise Plane Sweeping, DPS) qui permet des connexions plus denses et extrait des caractéristiques guidées par la profondeur. Deuxièmement, pour saisir des caractéristiques espacées différemment, nous présentons un nouveau volume stéréo -- Dual-view Stereo Volume (DSV) qui intègre les caractéristiques de vue frontale et de vue supérieure et reconstruit la profondeur sub-voxel dans le frustum de la caméra. Troisièmement, alors que la région avant-plan devient moins dominante dans l'espace 3D, nous proposons une stratégie d'édition de données multi-modales -- Stereo-LiDAR Copy-Paste, qui garantit l'alignement inter-modales et améliore l'efficacité des données. Sans artifices superflus, des expériences étendues dans diverses configurations modales sur le benchmark populaire KITTI montrent que notre méthode surpasse constamment les autres détecteurs d'objets 3D basés sur caméra pour toutes les catégories. Le code est disponible à l'adresse suivante : https://github.com/chenyilun95/DSGN2.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp