HyperAIHyperAI

Command Palette

Search for a command to run...

TransDSSL : Estimation de profondeur basée sur Transformer par apprentissage auto-supervisé

Yukyung Choi Soomnim Hwang Namil Kim Jeongmin Shin Daechan Han

Résumé

Récemment, les transformateurs ont été largement adoptés pour diverses tâches en vision par ordinateur, montrant des résultats prometteurs grâce à leur capacité à modéliser efficacement les dépendances spatiales à longue portée au sein d'une image. Toutefois, très peu d’études se sont concentrées sur l’application des transformateurs à l’estimation de profondeur en apprentissage auto-supervisé. Lorsqu’on remplace l’architecture CNN par un transformateur dans le cadre de l’apprentissage auto-supervisé de la profondeur, plusieurs problèmes émergent, notamment une fonction de perte photométrique multi-échelle instable lorsqu’elle est utilisée avec les transformateurs, ainsi qu’une capacité insuffisante à capturer les détails locaux. Dans cet article, nous proposons un module décodeur basé sur l’attention, appelé Pixel-Wise Skip Attention (PWSA), destiné à améliorer la précision des détails fins dans les cartes de caractéristiques tout en préservant le contexte global fourni par les transformateurs. En outre, nous introduisons l’utilisation d’une perte de self-distillation combinée à une perte photométrique à une seule échelle, afin de stabiliser l’entraînement des transformateurs en fournissant des signaux d’entraînement plus fiables. Nous démontrons que le modèle proposé permet des prédictions précises sur des objets de grande taille et des structures fines, qui nécessitent à la fois un contexte global et des détails locaux. Notre méthode atteint un niveau d’performance optimal parmi les approches auto-supervisées d’estimation de profondeur monoscopique sur les benchmarks KITTI et DDAD.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp