HyperAIHyperAI
il y a 2 mois

GASP : Attention Gérée par des Portes pour la Prédiction de la Salience

Fares Abawi; Tom Weber; Stefan Wermter
GASP : Attention Gérée par des Portes pour la Prédiction de la Salience
Résumé

La prédiction de la salience fait référence à la tâche computationnelle de modéliser l'attention manifeste. Les indices sociaux influencent considérablement notre attention, modifiant ainsi nos mouvements oculaires et notre comportement. Pour souligner l'efficacité de ces caractéristiques, nous présentons un modèle neuronal intégrant les indices sociaux et pondérant leurs influences. Notre modèle se compose de deux étapes. Au cours de la première étape, nous détectons deux indices sociaux en suivant le regard, en estimant la direction du regard et en reconnaissant l'affect. Ces caractéristiques sont ensuite transformées en cartes spatio-temporelles par des opérations de traitement d'images. Les représentations transformées sont transmises à la deuxième étape (GASP), où nous explorons diverses techniques de fusion tardive pour intégrer les indices sociaux et introduisons deux sous-réseaux pour diriger l'attention vers les stimuli pertinents. Nos expériences montrent que les approches de fusion obtiennent de meilleurs résultats pour les méthodes d'intégration statique, tandis que les approches non-fusion, dont l'influence de chaque modalité est inconnue, produisent de meilleurs résultats lorsqu'elles sont couplées avec des modèles récurrents pour la prédiction dynamique de la salience. Nous démontrons que la direction du regard et les représentations affectives contribuent à une amélioration d'au moins 5% de la correspondance entre la prédiction et le solide vérité-terrain par rapport aux modèles dynamiques de salience sans indices sociaux. De plus, les représentations affectives améliorent GASP, soutenant la nécessité de prendre en compte l'attention biaisée par l'affect dans la prédiction de la salience.Note: "solide vérité-terrain" is used here to translate "ground-truth," but it might be more appropriate to use "vérité terrain" or simply "vérité-terrain" depending on the context and preference in the field of computer vision or machine learning in French.

GASP : Attention Gérée par des Portes pour la Prédiction de la Salience | Articles de recherche récents | HyperAI