Les relations sociales constituent la base de la vie quotidienne humaine. Le développement de techniques pour analyser ces relations à partir de données visuelles présente un grand potentiel pour créer des machines qui nous comprennent mieux et sont capables d'interagir avec nous sur un plan social. Les études précédentes ont été partielles en raison de la diversité et de la complexité écrasantes du sujet, se concentrant donc uniquement sur quelques relations sociales. Dans cet article, nous soutenons que la théorie des domaines issus de la psychologie sociale est un excellent point de départ pour aborder systématiquement ce problème. Cette théorie couvre tous les aspects des relations sociales et est également concrète et prédictive quant aux attributs visuels et comportements définissant les relations incluses dans chaque domaine. Nous fournissons le premier ensemble de données construit sur cette conceptualisation holistique de la vie sociale, composé d'un espace d'étiquetage hiérarchique de domaines sociaux et de relations sociales. Nous contribuons également aux premiers modèles permettant de reconnaître ces domaines et relations, et constatons une meilleure performance pour les caractéristiques basées sur les attributs. Au-delà des performances encourageantes de l'approche basée sur les attributs, nous identifions également des caractéristiques interprétables qui sont conformes aux prédictions issues des travaux en psychologie sociale. Au-delà de nos résultats, nous croyons que nos contributions entrelacent plus étroitement la reconnaissance visuelle et la théorie de la psychologie sociale, offrant ainsi le potentiel d'enrichir les travaux théoriques dans ce domaine avec des modèles empiriques et guidés par les données de la vie sociale.