Deformable DETR : Transformateurs déformables pour la détection d'objets en bout-en-bout

DETR a été récemment proposé afin d’éliminer le besoin de nombreux composants conçus manuellement dans la détection d’objets, tout en offrant de bonnes performances. Toutefois, il souffre d’une convergence lente et d’une résolution spatiale des caractéristiques limitée, en raison des contraintes des modules d’attention Transformer dans le traitement des cartes de caractéristiques d’image. Pour atténuer ces problèmes, nous proposons Deformable DETR, dont les modules d’attention ne s’attendent qu’à un petit ensemble de points clés d’échantillonnage situés autour d’un point de référence. Deformable DETR parvient à surpasser DETR en termes de performance (notamment pour les objets de petite taille), tout en nécessitant dix fois moins d’époques d’entraînement. Des expériences étendues sur le benchmark COCO démontrent l’efficacité de notre approche. Le code source est disponible à l’adresse suivante : https://github.com/fundamentalvision/Deformable-DETR.