ViDT : Un détecteur d'objets entièrement basé sur Transformer efficace et performant

Les Transformers révolutionnent le paysage de la vision par ordinateur, en particulier pour les tâches de reconnaissance. Les détecteurs basés sur les Transformers constituent le premier système d’apprentissage entièrement end-to-end pour la détection d’objets, tandis que les Transformers visuels représentent la première architecture entièrement fondée sur les Transformers pour la classification d’images. Dans cet article, nous intégrons les Transformers visuels et les Transformers de détection (ViDT) afin de concevoir un détecteur d’objets efficace et performant. ViDT introduit un module d’attention réorganisé afin d’étendre le Swin Transformer récent à un détecteur d’objets autonome, suivi d’un décodeur Transformer à faible coût computationnel qui exploite des caractéristiques multi-échelles ainsi que des techniques auxiliaires essentielles pour améliorer significativement les performances de détection sans augmenter sensiblement la charge computationnelle. Les résultats d’évaluation étendus sur le jeu de données de référence Microsoft COCO montrent que ViDT atteint le meilleur compromis entre précision (AP) et latence parmi les détecteurs d’objets entièrement basés sur les Transformers existants, et obtient un score de 49,2 AP grâce à sa grande capacité d’évolutivité pour les modèles de grande taille. Le code source et les modèles entraînés seront publiés à l’adresse suivante : https://github.com/naver-ai/vidt