DEIM : DETR avec Amélioration de l'Appariement pour une Convergence Rapide

Nous présentons DEIM, un cadre d'entraînement innovant et efficace conçu pour accélérer la convergence dans la détection d'objets en temps réel avec des architectures basées sur les Transformers (DETR). Pour atténuer la supervision clairsemée inhérente au couplage un-à-un (O2O) dans les modèles DETR, DEIM utilise une stratégie de couplage dense un-à-un (Dense O2O). Cette approche augmente le nombre d'échantillons positifs par image en intégrant des cibles supplémentaires, en utilisant des techniques standard d'augmentation de données. Bien que le couplage dense un-à-un accélère la convergence, il introduit également de nombreux couplages de faible qualité qui pourraient affecter les performances. Pour remédier à cela, nous proposons la fonction de perte sensible à la matchabilité (Matchability-Aware Loss, MAL), une nouvelle fonction de perte qui optimise les correspondances à différents niveaux de qualité, améliorant ainsi l'efficacité du couplage dense un-à-un. Des expériences approfondies sur l'ensemble de données COCO valident l'efficacité de DEIM. Lorsqu'il est intégré à RT-DETR et D-FINE, il améliore constamment les performances tout en réduisant le temps d'entraînement de 50 %. Notamment, associé à RT-DETRv2, DEIM atteint 53,2 % AP en une seule journée d'entraînement sur une GPU NVIDIA 4090. De plus, les modèles en temps réel formés avec DEIM surpassent les détecteurs d'objets en temps réel les plus performants actuellement disponibles, avec DEIM-D-FINE-L et DEIM-D-FINE-X atteignant respectivement 54,7 % AP à 124 FPS et 56,5 % AP à 78 FPS sur une GPU NVIDIA T4, sans nécessiter de données supplémentaires. Nous pensons que DEIM établit une nouvelle référence pour les progrès dans la détection d'objets en temps réel. Notre code et nos modèles pré-entraînés sont disponibles sur https://github.com/ShihuaHuang95/DEIM.