HyperAIHyperAI

Command Palette

Search for a command to run...

Einen hierarchischen Ansatz zur Generierung beschreibender Bildabsätze

Jonathan Krause; Justin Johnson; Ranjay Krishna; Li Fei-Fei

Zusammenfassung

Kürzliche Fortschritte bei der Bildunterschriftung haben es ermöglicht, neue Sätze in natürlicher Sprache zu generieren, die Bilder beschreiben. Allerdings kann die Kompression eines Bildes in einen einzelnen Satz das visuelle Inhaltsmaterial nur grob darstellen. Während ein neuer Ansatz zur Bildunterschriftung, die dichte Captioning (dense captioning), durch die Beschriftung vieler Bereiche innerhalb eines Bildes potenziell detailliertere Beschreibungen liefern kann, ist sie nicht in der Lage, eine kohärente Geschichte für ein Bild zu erzeugen. In dieser Arbeit überwinden wir diese Einschränkungen, indem wir ganze Absätze zur Beschreibung von Bildern generieren, die detaillierte und zusammenhängende Geschichten erzählen können. Wir entwickeln ein Modell, das sowohl Bilder als auch Absätze in ihre Bestandteile zerlegt, semantische Regionen in Bildern erkennbar macht und eine hierarchische rekurrente Neuronale Netzwerkstruktur verwendet, um sprachliche Zusammenhänge zu analysieren. Eine linguistische Analyse bestätigt die Komplexität der Aufgabe des Absatzgenerierens, und umfassende Experimente auf einem neuen Datensatz von Bild- und Absatzpaaren demonstrieren die Effektivität unseres Ansatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Einen hierarchischen Ansatz zur Generierung beschreibender Bildabsätze | Paper | HyperAI