Objets adverses naturels

Bien que les méthodes d’object detection de pointe aient démontré des performances prometteuses, les modèles restent souvent vulnérables aux attaques adverses et aux données hors distribution. Nous introduisons un nouveau jeu de données, Natural Adversarial Objects (NAO), destiné à évaluer la robustesse des modèles de détection d’objets. NAO comprend 7 934 images et 9 943 objets qui sont inchangés et représentatifs de scénarios du monde réel, mais qui provoquent des classifications erronées avec une haute confiance chez les modèles d’object detection de pointe. La précision moyenne en moyenne (mAP) d’EfficientDet-D7 diminue de 74,5 % lorsqu’elle est évaluée sur NAO par rapport au jeu de validation standard MSCOCO.Par ailleurs, en comparant diverses architectures de détection d’objets, nous constatons que de meilleures performances sur le jeu de validation MSCOCO ne se traduisent pas nécessairement par de meilleures performances sur NAO, ce qui suggère que la robustesse ne peut pas être obtenue simplement en entraînant un modèle plus précis.Nous examinons également en profondeur les raisons pour lesquelles les exemples présents dans NAO sont difficiles à détecter et à classifier. Des expériences de permutation de patches d’image révèlent que les modèles sont excessivement sensibles aux textures locales. En outre, en utilisant les gradients intégrés et la substitution de fond, nous constatons que le modèle de détection dépend fortement des informations pixel par pixel à l’intérieur de la boîte englobante, et est peu sensible au contexte du fond lors de la prédiction des étiquettes de classe. Le jeu de données NAO est disponible au téléchargement à l’adresse suivante : https://drive.google.com/drive/folders/15P8sOWoJku6SSEiHLEts86ORfytGezi8.