HyperAIHyperAI

Command Palette

Search for a command to run...

Complétion de profondeur non supervisée avec couches de projection arrière étalonnées

Alex Wong Stefano Soatto

Résumé

Nous proposons une architecture de réseau de neurones profond pour estimer une carte de profondeur dense à partir d'une image et d'un nuage de points épars. Le modèle est entraîné à l'aide d'un flux vidéo accompagné d'un nuage de points épars synchronisé, obtenu à partir d'un capteur LIDAR ou d'un autre capteur de distance, ainsi que des paramètres de calibration intrinsèques de la caméra. Lors de l'inférence, la calibration de la caméra — qui peut différer de celle utilisée pendant l'entraînement — est fournie en entrée du réseau conjointement avec le nuage de points épars et une seule image. Une couche de projection arrière calibrée (Calibrated Backprojection Layer) projette chaque pixel de l'image dans l'espace tridimensionnel à l'aide de la matrice de calibration et d'un descripteur de profondeur. L'encodage positionnel 3D ainsi obtenu est concaténé avec le descripteur d'image et la sortie de la couche précédente afin de former l'entrée de la couche suivante du encodeur. Un décodeur exploitant des connexions directes (skip-connections) génère une carte de profondeur dense. Le réseau résultant, nommé KBNet (Calibrated Backprojection Network), est entraîné de manière non supervisée en minimisant l'erreur de reprojection photométrique. Contrairement aux approches basées sur une régularisation générique, KBNet impute les valeurs de profondeur manquantes à partir des données d'entraînement. Nous évaluons KBNet sur des benchmarks publics de complétion de profondeur, où il surpasser l'état de l'art de 30,5 % en intérieur et de 8,8 % en extérieur lorsque la même caméra est utilisée pour l'entraînement et le test. Lorsque la caméra de test diffère de celle d'entraînement, l'amélioration atteint 62 %. Le code est disponible à l'adresse suivante : https://github.com/alexklwong/calibrated-backprojection-network.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Complétion de profondeur non supervisée avec couches de projection arrière étalonnées | Articles | HyperAI