Amélioration de l'entraînement détection d'objets basée sur les requêtes par récupération sélective des requêtes

Cette étude examine un phénomène dans lequel les détecteurs d'objets basés sur les requêtes produisent des prédictions erronées à la dernière étape de décodage, bien qu’elles soient correctes à une étape intermédiaire. Nous passons en revue le processus d'entraînement et attribuons ce phénomène négligé à deux limitations : un manque d'accent sur les étapes ultérieures durant l'entraînement et la propagation des erreurs provenant de la séquence de décodage. À cette fin, nous proposons et présentons une stratégie d'entraînement simple et efficace, nommée Recollection Sélective des Requêtes (SQR), adaptée aux détecteurs d'objets basés sur les requêtes. SQR collecte progressivement les requêtes intermédiaires au fur et à mesure que les étapes de décodage s’approfondissent, puis sélectionne certaines d’entre elles pour les transmettre directement aux étapes suivantes, en contournant la structure séquentielle traditionnelle. Ainsi, SQR place davantage l’accent sur les étapes ultérieures de décodage et permet à ces dernières de s’appuyer directement sur les requêtes intermédiaires provenant des étapes antérieures. SQR peut être facilement intégrée à divers détecteurs d’objets basés sur les requêtes sans modifier le pipeline d’inférence. En conséquence, nous appliquons SQR à Adamixer, DAB-DETR et Deformable-DETR dans plusieurs configurations (architectures de base, nombre de requêtes, stratégies d’entraînement), obtenant systématiquement une amélioration de 1,4 à 2,8 points d’AP.