Débiaisage contextuel pour la reconnaissance visuelle à l’aide de mécanismes causaux

Dans le monde visuel, le biais contextuel constitue un problème courant, car la reconnaissance peut dépendre davantage du contexte de co-occurrence que des objets eux-mêmes. Ce phénomène est d’autant plus prononcé dans les tâches multi-étiquettes, en raison de la présence de plusieurs cibles et de l’absence d’information de localisation. Bien que certaines études aient abordé ce problème, l’élimination de l’effet négatif du contexte reste un défi, en raison de la difficulté à obtenir une représentation précise du biais contextuel. Dans cet article, nous proposons un cadre simple mais efficace fondé sur l’inférence causale afin de réduire ce biais. Nous introduisons tout d’abord un Modèle Causal Structurel (SCM) pour clarifier les relations causales entre les représentations des objets, le contexte et les prédictions. Ensuite, nous développons un nouveau module, le module de désbiaisement causal du contexte (CCD), destiné à capturer l’effet direct d’une instance. Plus précisément, nous utilisons une intervention causale pour éliminer l’effet des facteurs de confusion, ainsi que des raisonnements contre-factuels pour estimer un Effet Direct Total (TDE) exempt du biais contextuel. Il est à noter que notre cadre CCD est orthogonal aux modèles statistiques existants, ce qui lui permet d’être facilement intégré à tout autre modèle de base. Des expériences étendues sur plusieurs jeux de données de classification multi-étiquettes démontrent l’efficacité supérieure de notre modèle par rapport aux meilleures approches actuelles.