HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Attention compensée par la causalité pour la reconnaissance visuelle biaisée contextuelle

{Thomas H. Li Ge Li Jingjia Huang Ruyang Liu}

Attention compensée par la causalité pour la reconnaissance visuelle biaisée contextuelle

Résumé

L’attention visuelle ne capture pas toujours la représentation d’objet essentielle souhaitée pour des prédictions robustes. Les modules d’attention ont tendance à mettre en évidence non seulement l’objet cible, mais aussi le contexte couramment associé, qu’ils jugent utile durant l’apprentissage. Ce problème trouve sa racine dans l’effet de confusion provoqué par le contexte, entraînant des causalités erronées entre les objets et les prédictions, effet qui est aggravé par l’attention visuelle. Dans cet article, afin d’apprendre des caractéristiques d’objets causales robustes face aux biais contextuels, nous proposons un nouveau module d’attention nommé Interventional Dual Attention (IDA) pour la reconnaissance visuelle. Plus précisément, IDA adopte deux couches d’attention accompagnées d’interventions par échantillonnage multiples, permettant de compenser l’attention face au contexte perturbateur. Notons que notre méthode est indépendante du modèle (model-agnostic), et peut donc être intégrée à diverses architectures de base (backbones). Des expériences étendues montrent que notre modèle obtient des améliorations significatives en classification et détection, avec une charge computationnelle réduite. En particulier, nous atteignons des résultats de pointe dans la classification multi-étiquettes sur MS-COCO et PASCAL-VOC.

Benchmarks

BenchmarkMéthodologieMétriques
multi-label-classification-on-ms-cocoIDA-SwinL
mAP: 90.3
multi-label-classification-on-ms-cocoIDA-R101
mAP: 86.3
multi-label-image-classification-on-mscocoIDA-R101(H) 576
mAP: 86.3
multi-label-image-classification-on-mscocoIDA-SwinL(H) 384
mAP: 90.3
multi-label-image-classification-on-mscocoIDA-R101(H)
mAP: 84.8

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Attention compensée par la causalité pour la reconnaissance visuelle biaisée contextuelle | Articles de recherche | HyperAI