Génération de graphes de scène sans biais à partir d'un entraînement biaisé

La tâche de génération de graphes de scène (SGG) d'aujourd'hui est encore loin d'être pratique, principalement en raison du biais d'entraînement sévère, par exemple, la réduction de diverses actions comme « une personne marche sur / s'assoit sur / se couche sur une plage » à « une personne sur une plage ». Avec un tel SGG, les tâches en aval, telles que la question-réponse visuelle (VQA), ne peuvent guère inférer des structures de scène plus précises qu'un simple sac d'objets. Cependant, le débiaisage dans le SGG n'est pas trivial car les méthodes traditionnelles de débiaisage ne peuvent pas distinguer entre le bon et le mauvais biais, par exemple, un bon a priori contextuel (comme « une personne lit un livre » plutôt que « mange ») et un mauvais biais à queue longue (comme « près » dominé par « derrière / devant »).Dans cet article, nous présentons un nouveau cadre de SGG basé sur l'inférence causale et non sur la vraisemblance conventionnelle. Nous construisons d'abord un graphe causal pour le SGG et effectuons l'entraînement biaisé traditionnel avec ce graphe. Ensuite, nous proposons d'utiliser la causalité contre-factuelle issue du graphe entraîné pour inférer l'effet du mauvais biais, qui doit être éliminé. Plus précisément, nous utilisons l'Effet Direct Total (EDT) comme score prédicatif final proposé pour un SGG sans biais.Il convient de noter que notre cadre est indifférent au modèle de SGG utilisé et peut donc être largement appliqué dans la communauté qui cherche des prédictions sans biais. En utilisant l'outil de diagnostic des graphes de scène proposé sur le banc d'essai Visual Genome et plusieurs modèles prédominants, nous avons observé des améliorations significatives par rapport aux méthodes précédentes les plus avancées.