HyperAIHyperAI

Command Palette

Search for a command to run...

Apprendre à Restituer la Forme de la Scène 3D à Partir d'une Seule Image

Wei Yin Jianming Zhang Oliver Wang Simon Niklaus Long Mai Simon Chen Chunhua Shen

Résumé

Malgré des progrès significatifs dans l'estimation de profondeur monoculaire en conditions réelles, les méthodes les plus récentes et performantes ne peuvent pas être utilisées pour recréer une forme 3D de scène précise en raison d'un décalage de profondeur inconnu induit par les pertes de reconstruction invariantes aux décalages utilisées lors de la formation pour prédire la profondeur à partir de données mixtes, ainsi que d'une distance focale de caméra éventuellement inconnue. Nous examinons ce problème en détail et proposons un cadre en deux étapes qui prédit d'abord la profondeur à une échelle et un décalage inconnus à partir d'une seule image monoculaire, puis utilise des encodeurs de nuages de points 3D pour prédire le décalage de profondeur manquant et la distance focale, nous permettant ainsi de recréer une forme 3D réaliste de la scène. De plus, nous proposons une perte de régression normalisée au niveau des images et une perte géométrique basée sur les normales pour améliorer les modèles d'estimation de profondeur formés sur des jeux de données mixtes. Nous testons notre modèle de profondeur sur neuf jeux de données non vus et obtenons des performances d'état de l'art en généralisation sur des jeux de données inconnus (zero-shot). Le code est disponible à l'adresse suivante : https://git.io/Depth


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp