Modèle Dual-Glance pour Déchiffrer les Relations Sociales

Depuis le début des premières civilisations, les relations sociales issues de chaque individu constituent fondamentalement la base de la structure sociale dans notre vie quotidienne. Dans la littérature sur la vision par ordinateur, d'importants progrès ont été réalisés en matière de compréhension des scènes, tels que la détection d'objets et l'analyse sémantique des scènes. Les recherches récentes se concentrent sur les relations entre objets basées sur leur fonctionnalité et leurs relations géométriques. Dans ce travail, nous visons à étudier le problème de reconnaissance des relations sociales dans des images fixes. Nous avons proposé un modèle à double regard pour la reconnaissance des relations sociales, où le premier regard se concentre sur le couple d'individus d'intérêt et le deuxième regard déploie un mécanisme d'attention pour explorer les indices contextuels. Nous avons également collecté un nouveau jeu de données à grande échelle appelé People in Social Context (PISC), qui comprend 22 670 images et 76 568 échantillons annotés provenant de 9 types de relations sociales. Nous fournissons des résultats de référence sur le jeu de données PISC et démontrons qualitativement l'efficacité du modèle proposé.