TransReID : Identification d'objets basée sur Transformer

L’extraction d’une représentation de caractéristiques robuste constitue l’un des défis clés dans la réidentification d’objets (ReID). Bien que les méthodes basées sur les réseaux de neurones convolutifs (CNN) aient connu un grand succès, elles traitent une seule voisinage locale à la fois et souffrent d’une perte d’information détaillée due aux opérateurs de convolution et de downsampling (par exemple, le pooling et la convolution à pas). Pour surmonter ces limitations, nous proposons un cadre purment basé sur les transformateurs pour la réidentification d’objets, nommé TransReID. Plus précisément, nous encodons d’abord une image sous la forme d’une séquence de patches, puis construisons une base solide basée sur les transformateurs, enrichie de quelques améliorations critiques, qui obtient des résultats compétitifs sur plusieurs benchmarks de ReID par rapport aux méthodes basées sur les CNN. Pour renforcer davantage l’apprentissage de caractéristiques robustes dans le cadre des transformateurs, deux nouveaux modules sont soigneusement conçus : (i) le module de patch en énigme (JPM) est proposé pour réarranger les embeddings de patches via des opérations de décalage et de mélange de patches, générant ainsi des caractéristiques robustes avec une meilleure capacité de discrimination et une couverture plus diversifiée ; (ii) les embeddings d’informations auxiliaires (SIE) sont introduits pour atténuer le biais des caractéristiques face aux variations de caméra ou de vue, en intégrant des embeddings apprenables qui captent ces indices non visuels. À notre connaissance, il s’agit du premier travail à adopter un transformateur pur pour la recherche en ReID. Les résultats expérimentaux de TransReID sont très prometteurs, atteignant des performances de pointe sur les benchmarks de réidentification de personnes et de véhicules.