PVT v2 : Amélioration des étalons de référence grâce au Pyramid Vision Transformer

Transformer a récemment montré des progrès prometteurs en vision par ordinateur. Dans ce travail, nous proposons de nouveaux états de l’art en améliorant le modèle original Pyramid Vision Transformer (PVT v1) grâce à trois innovations : (1) une couche d’attention à complexité linéaire, (2) un embedding de patches chevauchants, et (3) un réseau feed-forward convolutif. Grâce à ces modifications, PVT v2 réduit la complexité computationnelle de PVT v1 à une forme linéaire et obtient des améliorations significatives sur des tâches fondamentales de vision, telles que la classification, la détection et la segmentation. Notamment, le modèle PVT v2 atteint des performances comparables, voire supérieures, à celles des travaux récents comme Swin Transformer. Nous espérons que ce travail contribuera à stimuler les recherches les plus avancées sur les Transformers en vision par ordinateur. Le code est disponible à l’adresse suivante : https://github.com/whai362/PVT.