HyperAIHyperAI

Command Palette

Search for a command to run...

CamLiFlow : Fusion bidirectionnelle caméra-LiDAR pour l'estimation conjointe du flux optique et du flux de scène

Haisong Liu Tao Lu Yihui Xu Jia Liu Wenjie Li Lijun Chen

Résumé

Dans cet article, nous étudions le problème d'estimation conjointe du flux optique et du flux scènique à partir de données 2D et 3D synchronisées. Les méthodes précédentes reposent soit sur une chaîne de traitement complexe qui décompose la tâche conjointe en étapes indépendantes, soit sur une fusion des informations 2D et 3D selon une approche « early-fusion » ou « late-fusion ». Ces approches universelles souffrent d’un dilemme : elles ne parviennent pas à exploiter pleinement les caractéristiques propres à chaque modalité, ni à maximiser la complémentarité inter-modale. Pour résoudre ce problème, nous proposons un nouveau cadre end-to-end, appelé CamLiFlow. Il se compose de deux branches, 2D et 3D, reliées par des connexions bidirectionnelles multiples à des couches spécifiques. Contrairement aux travaux antérieurs, nous utilisons une branche 3D basée sur des points pour mieux extraire les caractéristiques géométriques, et concevons un opérateur apprenable et symétrique afin de fusionner efficacement les caractéristiques d’images denses et les caractéristiques de points épars. Les expériences montrent que CamLiFlow atteint des performances supérieures avec un nombre réduit de paramètres. Notre méthode obtient la première place sur le benchmark KITTI Scene Flow, surpassant l’état de l’art précédent tout en utilisant seulement 1/7 du nombre de paramètres. Le code est disponible à l’adresse suivante : https://github.com/MCG-NJU/CamLiFlow.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
CamLiFlow : Fusion bidirectionnelle caméra-LiDAR pour l'estimation conjointe du flux optique et du flux de scène | Articles | HyperAI