Raisonnement Profond avec des Graphes de Connaissance pour la Compréhension des Relations Sociales

Les relations sociales (par exemple, amis, couple, etc.) constituent la base du réseau social dans notre vie quotidienne. L'interprétation automatique de ces relations offre un grand potentiel pour que les systèmes intelligents comprennent en profondeur le comportement humain et interagissent mieux avec les personnes sur un plan social. Les êtres humains interprètent les relations sociales au sein d'un groupe non seulement en se basant sur les individus eux-mêmes, mais aussi sur l'interaction entre ces relations et les informations contextuelles qui les entourent, ce qui joue un rôle significatif. Cependant, ces indices supplémentaires sont largement négligés par les études précédentes. Nous avons découvert que l'interaction entre ces deux facteurs peut être modélisée efficacement par un nouveau graphe de connaissances structurées avec une propagation appropriée des messages et un mécanisme d'attention. Cette connaissance structurée peut être intégrée de manière efficiente à l'architecture des réseaux neuronaux profonds pour améliorer la compréhension des relations sociales grâce à un modèle de raisonnement graphique (Graph Reasoning Model, GRM) entraînable de bout en bout, dans lequel un mécanisme de propagation est appris pour propager le message des nœuds à travers le graphe afin d'explorer l'interaction entre les personnes d'intérêt et les objets contextuels. Parallèlement, un mécanisme d'attention graphique est introduit pour raisonner explicitement sur les objets discriminants afin de promouvoir la reconnaissance. De nombreuses expériences menées sur des bancs d'essai publics démontrent la supériorité de notre méthode par rapport aux concurrents existants leaders.