GASP: Gated Attention For Saliency Prediction GASP: Gating der Aufmerksamkeit für die Vorhersage von Salienz

Die Salienzvorhersage bezieht sich auf die computergestützte Aufgabe, offensichtliche Aufmerksamkeit zu modellieren. Soziale Signale beeinflussen unsere Aufmerksamkeit stark und verändern dadurch unsere Augenbewegungen und Verhalten. Um die Effizienz solcher Merkmale zu unterstreichen, präsentieren wir ein neuronales Modell zur Integration sozialer Signale und Gewichtung ihrer Einflüsse. Unser Modell besteht aus zwei Stufen. In der ersten Stufe erkennen wir zwei soziale Signale durch das Verfolgen von Blickrichtungen, das Schätzen der Blickrichtung und das Erkennen von Affektivität. Diese Merkmale werden dann durch Bildverarbeitungsoperationen in räumlich-zeitliche Karten transformiert. Die transformierten Darstellungen werden an die zweite Stufe (GASP) weitergeleitet, wo wir verschiedene Techniken der späten Fusion zur Integration sozialer Signale untersuchen und zwei Unter-Netze für die Lenkung der Aufmerksamkeit auf relevante Reize einführen. Unsere Experimente zeigen, dass Fusionsansätze bessere Ergebnisse als statische Integrationsmethoden erzielen, während nicht-fusionsbasierte Ansätze, bei denen der Einfluss jeder Modalität unbekannt ist, bessere Ergebnisse erzielen, wenn sie mit rekurrenten Modellen für dynamische Salienzvorhersage kombiniert werden. Wir demonstrieren, dass Blickrichtung und affektive Darstellungen eine Verbesserung der Vorhersagekorrespondenz zum Ground Truth um mindestens 5 % gegenüber dynamischen Salienzmodellen ohne soziale Signale bewirken. Zudem verbessern affektive Darstellungen GASP, was die Notwendigkeit unterstreicht, affektiv beeinflusste Aufmerksamkeit bei der Vorhersage von Salienz zu berücksichtigen.