HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de la profondeur monoscopique dans des scènes dynamiques via la cohérence de projection sensible aux instances

Seokju Lee Sunghoon Im Stephen Lin In So Kweon

Résumé

Nous présentons un cadre d'entraînement end-to-end qui modélise explicitement, sans supervision, le mouvement 6-DoF de plusieurs objets dynamiques, le mouvement du véhicule (ego-motion) ainsi que la profondeur dans une configuration à caméra monochrome. Nos contributions techniques sont triplement articulées. Premièrement, nous mettons en évidence la différence fondamentale entre la projection inverse et la projection directe lors de la modélisation du mouvement individuel de chaque objet rigide, et proposons un pipeline de projection géométriquement correct basé sur un module neuronal de projection directe. Deuxièmement, nous concevons une perte unifiée, consciente des instances, combinant cohérence photométrique et géométrique, qui impose de manière holistique des signaux d'auto-supervision pour chaque région du fond et des objets. Troisièmement, nous introduisons un schéma généraliste d'auto-annotation utilisant n'importe quel modèle de segmentation d'instances ou de flux optique disponible sur le marché, afin de générer des cartes de segmentation d'instances vidéo qui serviront d'entrée à notre pipeline d'entraînement. Ces éléments proposés sont validés au travers d'une étude d'ablation détaillée. À travers des expérimentations étendues sur les jeux de données KITTI et Cityscapes, notre cadre démontre une performance supérieure aux méthodes les plus avancées en estimation de profondeur et de mouvement. Notre code, les données et les modèles sont disponibles à l'adresse suivante : https://github.com/SeokjuLee/Insta-DM.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp