HyperAIHyperAI

Command Palette

Search for a command to run...

Wissensbasierte Konzeptauswahl mit allgemeinem Sachverstand für vielfältige und informative visuelle Geschichtenerzählung

Hong Chen Yifei Huang Hiroya Takamura Hideki Nakayama

Zusammenfassung

Visuelle Geschichtenerzählung ist eine Aufgabe, bei der relevante und interessante Geschichten für gegebene Bildsequenzen generiert werden sollen. In dieser Arbeit zielen wir darauf ab, die Vielfalt der generierten Geschichten zu erhöhen, ohne dabei den informativen Gehalt der Bilder zu verlieren. Wir schlagen vor, die Vielfalt und Informationsdichte einer generierten Geschichte durch einen Konzeptauswahlmodul zu fördern, das eine Reihe von Konzeptkandidaten vorschlägt. Anschließend nutzen wir ein großskaliges vortrainiertes Modell, um Konzepte und Bilder in vollständige Geschichten umzuwandeln. Um die Kandidatenkonzepte zu bereichern, erstellen wir für jede Bildsequenz einen gemeinsinnbasierten Wissensgraphen, aus dem die Konzeptkandidaten abgeleitet werden. Um geeignete Konzepte aus dem Graphen zu extrahieren, schlagen wir zwei neuartige Module vor, die sowohl die Korrelation zwischen den Konzeptkandidaten als auch die Korrelation zwischen Bild und Konzept berücksichtigen. Umfangreiche automatisierte sowie menschliche Evaluierungsergebnisse zeigen, dass unser Modell sinnvolle Konzepte generieren kann. Dadurch erreicht unser Modell im Vergleich zu früheren Ansätzen eine deutlich bessere Leistung hinsichtlich Vielfalt und Informationsdichte der Geschichten, während gleichzeitig die Relevanz der Geschichten gegenüber der Bildsequenz gewahrt bleibt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Wissensbasierte Konzeptauswahl mit allgemeinem Sachverstand für vielfältige und informative visuelle Geschichtenerzählung | Paper | HyperAI