HyperAIHyperAI

Command Palette

Search for a command to run...

SAM4D : Segmenter Tout dans les Flux Caméra et LiDAR

Jianyun Xu Song Wang Ziqian Ni Chunyong Hu Sheng Yang Jianke Zhu Qiang Li

Résumé

Nous présentons SAM4D, un modèle fondamental multi-modale et temporel conçu pour la segmentation commandée par des prompts à travers les flux de caméra et de LiDAR. Une encodage positionnel multi-modale unifié (UMPE) est introduit pour aligner les caractéristiques de caméra et de LiDAR dans un espace 3D partagé, permettant une interaction et une commande croisée fluide entre les modes. De plus, nous proposons une attention mémoire croisée sensible au mouvement (MCMA), qui utilise la compensation du mouvement égocentrique pour améliorer la cohérence temporelle et la récupération de caractéristiques sur le long terme, garantissant ainsi une segmentation robuste dans des scènes d'automatisation de conduite en constante évolution. Pour éviter les goulets d'étranglement liés à l'annotation manuelle, nous avons développé un moteur de données automatisé multi-modale qui synergie les masquettes vidéo pilotées par VFM, la reconstruction spatiotemporelle 4D et la fusion croisée des masquettes. Ce cadre génère des pseudo-étiquettes alignées caméra-LiDAR à une vitesse plusieurs ordres de grandeur supérieure à celle de l'annotation humaine tout en préservant la fidélité sémantique dérivée du VFM dans les représentations nuage de points. Nous menons des expériences approfondies sur le Waymo-4DSeg construit, qui démontrent la puissante capacité de segmentation croisée et le grand potentiel en matière d'annotation de données du SAM4D proposé.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp