Gaze360 : Estimation de l'attention visuelle sans contrainte physique dans des environnements naturels

Comprendre où les personnes regardent constitue un indice social informatif. Dans ce travail, nous présentons Gaze360, un ensemble de données à grande échelle et une méthode pour une estimation robuste de l’orientation du regard en 3D à partir d’images non contraintes. Notre ensemble de données comprend 238 sujets, dans des environnements intérieurs et extérieurs, avec des annotations de regard en 3D couvrant une large gamme d’orientations de tête et de distances. Il s’agit du plus grand ensemble de données publiquement disponible de ce type, tant en nombre de sujets qu’en diversité, rendu possible par une méthode de collecte simple et efficace. Notre modèle de regard en 3D étend les modèles existants en intégrant des informations temporelles et en produisant directement une estimation de l’incertitude du regard. Nous démontrons les avantages de notre modèle à travers une étude d’ablation, et montrons sa capacité de généralisation via une évaluation croisée sur d’autres jeux de données récents de référence pour le regard. Nous proposons également une approche simple auto-supervisée pour améliorer l’adaptation de domaine entre jeux de données. Enfin, nous illustrons une application de notre modèle pour estimer l’attention des clients dans un contexte de supermarché. Nos jeux de données et modèles sont disponibles à l’adresse http://gaze360.csail.mit.edu.