Apprentissage basé sur des prototypes prenant en compte la diversité sémantique pour une génération de graphes de scène sans biais

La tâche de génération de graphe de scène (SGG) consiste à détecter des objets au sein d'une image et à prédire des prédicats qui représentent les relations entre ces objets. Cependant, dans les ensembles de données de référence pour le SGG, chaque paire sujet-objet est annotée avec un seul prédicat, bien qu'un seul prédicat puisse présenter une diversité sémantique (c'est-à-dire une variété de significations). Les modèles SGG existants sont formés pour prédire l'unique prédicat pour chaque paire, ce qui entraîne une négligence de la diversité sémantique potentielle d'un prédicat et conduit ainsi à des prédictions biaisées. Dans cet article, nous proposons un cadre novateur d'apprentissage basé sur des prototypes prenant en compte la diversité sémantique (DPL) qui permet des prédictions non biaisées grâce à la compréhension de la diversité sémantique des prédicats. Plus précisément, le DPL apprend les régions de l'espace sémantique couvertes par chaque prédicat afin de distinguer les différentes sémantiques que peut représenter un seul prédicat. Des expériences approfondies montrent que notre cadre DPL modèle-agnostique apporte une amélioration significative des performances aux modèles SGG existants et comprend efficacement la diversité sémantique des prédicats.