HyperAIHyperAI

Command Palette

Search for a command to run...

Mehr Aufmerksamkeit für Salienz: Bildunterschriften mit Salienz- und Kontextaufmerksamkeit

MARCELLA CORNIA LORENZO BARALDI GIUSEPPE SERRA RITA CUCCHIARA

Zusammenfassung

Das automatische Beschreiben von Bildern (Image Captioning) hat in letzter Zeit dank der beeindruckenden Leistungen, die durch tiefgreifende Architekturen zur Bildbeschreibung erzielt wurden, viel Aufmerksamkeit erhalten. Diese Architekturen kombinieren Faltungsneuronale Netze (Convolutional Neural Networks), um Bildrepräsentationen zu extrahieren, und rekurrente Neuronale Netze (Recurrent Neural Networks), um die entsprechenden Beschreibungen zu generieren. Gleichzeitig wurde ein erheblicher Forschungsaufwand in die Entwicklung von Salienzvorhersagemodellen investiert, die menschliche Blickfixierungen vorhersagen können. Obwohl Salienzinformationen nützlich sein könnten, um eine Bildbeschreibungsarchitektur zu steuern, indem sie Hinweise darauf geben, was auffällig ist und was nicht, ringt die Forschung noch damit, diese beiden Techniken zusammenzubringen. In dieser Arbeit schlagen wir einen Ansatz für das automatische Beschreiben von Bildern vor, bei dem ein generatives rekurrentes neuronales Netzwerk sich während der Generierung der Beschreibung auf verschiedene Teile des Eingabebildes konzentrieren kann. Dies geschieht durch die Nutzung der Bedingungen, die ein Salienzvorhersagemodell über auffällige und kontextuelle Bereiche des Bildes liefert. Durch umfangreiche quantitative und qualitative Experimente auf großen Datensätzen zeigen wir, dass unser Modell bessere Leistungen als Baseline-Modelle mit und ohne Salienz sowie gegenüber verschiedenen aktuellen Ansätzen zur Kombination von Salienz und Bildbeschreibung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp