TempSAL – Aufdeckung zeitlicher Informationen für die tiefen Aufmerksamkeitsvorhersage

Tiefgreifende Saliency-Vorhersagemodelle ergänzen die Objekterkennungsfunktionen und beruhen typischerweise auf zusätzlichen Informationen wie Szenenkontext, semantischen Beziehungen, Blickrichtung und Objektdissimilarität. Doch keines dieser Modelle berücksichtigt die zeitliche Natur von Blickverschiebungen während der Bildbetrachtung. Wir stellen ein neuartiges Saliency-Vorhersagemodell vor, das lernt, Saliency-Karten in aufeinanderfolgenden Zeitintervallen basierend auf menschlichen zeitlichen Aufmerksamkeitsmustern zu generieren. Unser Ansatz moduliert die Saliency-Vorhersagen lokal, indem er die gelernten zeitlichen Karten kombiniert. Unsere Experimente zeigen, dass unsere Methode die derzeit besten Modelle, einschließlich eines Multi-Dauer-Saliency-Modells, auf der SALICON-Benchmark und dem CodeCharts1k-Datensatz übertrifft. Der Quellcode ist öffentlich auf GitHub verfügbar.