Command Palette
Search for a command to run...
CogTree : Perte en Arbre de Cognition pour une Génération de Graphes de Scène sans Biais
CogTree : Perte en Arbre de Cognition pour une Génération de Graphes de Scène sans Biais
Jing Yu extsuperscript1 extsuperscript*† Yuan Chai extsuperscript2 extsuperscript* Yujing Wang extsuperscript3 Yue Hu extsuperscript1 Qi Wu extsuperscript4
Résumé
Les graphes de scène sont une abstraction sémantique des images qui favorise la compréhension et le raisonnement visuels. Cependant, les performances de la Génération de Graphes de Scène (SGG) sont insatisfaisantes lorsqu'elles sont confrontées à des données biaisées dans des scénarios du monde réel. Les recherches conventionnelles sur la débiaisation se concentrent principalement sur l'équilibrage de la distribution des données ou l'apprentissage de modèles et de représentations non biaisés, ignorant les corrélations entre les classes biaisées. Dans ce travail, nous analysons ce problème sous un angle cognitif novateur : construire automatiquement une structure cognitive hiérarchique à partir des prédictions biaisées et naviguer dans cette hiérarchie pour identifier les relations, permettant ainsi aux relations minoritaires d'attirer davantage d'attention selon un mode progressif du général au particulier. À cet effet, nous proposons une nouvelle perte de débiaisation appelée Arbre Cognitif (CogTree) pour une SGG non biaisée. Nous construisons d'abord une structure cognitive CogTree pour organiser les relations en fonction des prédictions d'un modèle SGG biaisé. L'Arbre Cognitif distingue d'abord les relations très différentes avant de se concentrer sur une petite partie de celles qui sont facilement confondues. Ensuite, nous proposons une perte de débiaisation spécialement conçue pour cette structure cognitive, qui soutient la distinction progressive du général au particulier pour les relations correctes. Cette perte est indépendante du modèle et améliore constamment les performances de plusieurs modèles d'avant-garde. Le code est disponible à l'adresse suivante : https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.