HyperAIHyperAI

Command Palette

Search for a command to run...

GASP: Gated Attention For Saliency Prediction GASP: Gating der Aufmerksamkeit für die Vorhersage von Salienz

Fares Abawi Tom Weber Stefan Wermter

Zusammenfassung

Die Salienzvorhersage bezieht sich auf die computergestützte Aufgabe, offensichtliche Aufmerksamkeit zu modellieren. Soziale Signale beeinflussen unsere Aufmerksamkeit stark und verändern dadurch unsere Augenbewegungen und Verhalten. Um die Effizienz solcher Merkmale zu unterstreichen, präsentieren wir ein neuronales Modell zur Integration sozialer Signale und Gewichtung ihrer Einflüsse. Unser Modell besteht aus zwei Stufen. In der ersten Stufe erkennen wir zwei soziale Signale durch das Verfolgen von Blickrichtungen, das Schätzen der Blickrichtung und das Erkennen von Affektivität. Diese Merkmale werden dann durch Bildverarbeitungsoperationen in räumlich-zeitliche Karten transformiert. Die transformierten Darstellungen werden an die zweite Stufe (GASP) weitergeleitet, wo wir verschiedene Techniken der späten Fusion zur Integration sozialer Signale untersuchen und zwei Unter-Netze für die Lenkung der Aufmerksamkeit auf relevante Reize einführen. Unsere Experimente zeigen, dass Fusionsansätze bessere Ergebnisse als statische Integrationsmethoden erzielen, während nicht-fusionsbasierte Ansätze, bei denen der Einfluss jeder Modalität unbekannt ist, bessere Ergebnisse erzielen, wenn sie mit rekurrenten Modellen für dynamische Salienzvorhersage kombiniert werden. Wir demonstrieren, dass Blickrichtung und affektive Darstellungen eine Verbesserung der Vorhersagekorrespondenz zum Ground Truth um mindestens 5 % gegenüber dynamischen Salienzmodellen ohne soziale Signale bewirken. Zudem verbessern affektive Darstellungen GASP, was die Notwendigkeit unterstreicht, affektiv beeinflusste Aufmerksamkeit bei der Vorhersage von Salienz zu berücksichtigen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp