HyperAIHyperAI

Command Palette

Search for a command to run...

Dichte Relationale Bildunterschriften: Dreiströmnige Netze für beziehungsorientierte Bildunterschriftenerstellung

Dong-Jin Kim Jinsoo Choi Tae-Hyun Oh In So Kweon

Zusammenfassung

Unser Ziel in dieser Arbeit ist es, ein Bildunterschriftungsmodell zu trainieren, das dichtere und informativere Untertitel generiert. Wir führen die „relationale Bildunterschriftung“ ein, eine neuartige Aufgabe der Bildunterschriftung, die darauf abzielt, mehrere Untertitel basierend auf den Beziehungen zwischen Objekten in einem Bild zu erzeugen. Die relationale Bildunterschriftung ist ein Rahmenwerk, das sowohl in Vielfalt als auch in Informationsgehalt vorteilhaft ist und zu einer bildbasierten Wissensgewinnung durch Beziehungen führt. Jedes englische Wort kann mit einer Wortartenkennzeichnung (POS, d.h. Subjekt-Objekt-Praedikat-Kategorien) versehen werden. Wir nutzen die POS als Vorwissen, um die korrekte Wortfolge in einer Bildunterschrift zu leiten. Zu diesem Zweck schlagen wir ein mehrfach gestreamtes Netzwerk mit mehreren Aufgaben (MTTSNet) vor, das aus drei rekurrenten Einheiten für die jeweiligen POS besteht und gleichzeitig POS-Vorhersage und -Unterschriftung durchführt. Wir zeigen, dass das vorgeschlagene Modell gegenüber mehreren Baseline-Verfahren und konkurrierenden Methoden vielfältigere und reichhaltigere Darstellungen erzeugt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp