Raisonnement à Multiple Granularité pour la Reconnaissance des Relations Sociales dans les Images

Découvrir les relations sociales dans les images peut améliorer l'interprétation du comportement humain par les machines. Cependant, la reconnaissance automatique des relations sociales dans les images est une tâche complexe en raison de l'écart significatif entre les domaines du contenu visuel et des relations sociales. Les études existantes traitent séparément diverses caractéristiques telles que les expressions faciales, l'apparence corporelle et les objets contextuels, ce qui leur empêche de capturer de manière exhaustive les sémantiques à plusieurs niveaux d'granularité, comme les scènes, les indices régionaux des personnes et leurs interactions avec les objets. Pour combler cet écart de domaine, nous proposons un cadre de Raisonnement Multi-Granulaire pour la reconnaissance des relations sociales à partir d'images. La connaissance globale et les détails intermédiaires sont appris respectivement à partir de la scène entière et des régions des personnes et des objets. Le plus important est que nous explorons les points clés de posture à granularité fine des personnes afin de découvrir leurs interactions avec d'autres personnes et objets. Plus précisément, nous proposons le Graphe Personne-Objet guidé par la posture (Pose-guided Person-Object Graph) et le Graphe Personne-Posture (Person-Pose Graph) pour modéliser respectivement les actions allant des personnes aux objets et les interactions entre paires de personnes. Sur la base de ces graphes, le raisonnement sur les relations sociales est effectué par des réseaux convolutifs graphiques. Enfin, les caractéristiques globales et la connaissance raisonnée sont intégrées pour former une représentation complète destinée à la reconnaissance des relations sociales. Des expériences approfondies menées sur deux jeux de données publics montrent l'efficacité du cadre proposé.