HyperAIHyperAI

Command Palette

Search for a command to run...

DPT : Transformateur basé sur les patches déformables pour la reconnaissance visuelle

Zhiyang Chen Yousong Zhu Chaoyang Zhao Guosheng Hu Wei Zeng Jinqiao Wang Ming Tang

Résumé

Transformer a connu un grand succès en vision par ordinateur, toutefois le problème du découpage des patches dans une image reste encore ouvert. Les méthodes existantes utilisent généralement un embedding de patches de taille fixe, ce qui peut altérer les significations sémantiques des objets. Pour résoudre ce problème, nous proposons un nouveau module appelé Deformable Patch (DePatch), qui apprend de manière adaptative à découper les images en patches de positions et d’échelles variables, de façon data-driven, plutôt que d’utiliser des patches prédéfinis de taille fixe. Ainsi, notre méthode parvient à préserver efficacement la sémantique à l’intérieur des patches. Le module DePatch peut fonctionner comme un composant plug-and-play, facilement intégrable à différents transformers pour permettre un apprentissage end-to-end. Nous désignons ce transformer enrichi par DePatch comme Transformer basé sur des Patches Déformables (DPT), et nous menons des évaluations étendues de DPT sur la classification d’images et la détection d’objets. Les résultats montrent que DPT atteint une précision top-1 de 81,9 % sur la classification d’ImageNet, ainsi que 43,7 % de box mAP avec RetinaNet et 44,3 % avec Mask R-CNN sur la détection d’objets dans MSCOCO. Le code source est disponible à l’adresse suivante : https://github.com/CASIA-IVA-Lab/DPT.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp