HyperAIHyperAI

Command Palette

Search for a command to run...

Charaktererhaltende kohärente Geschichtsdarstellung

Hong-Han Shuai Huiao-Han Lu Hung-Jen Chen Zhi Rui Tam Yun-Zhu Song

Zusammenfassung

Die Story-Visualisierung zielt darauf ab, eine Folge von Bildern zu generieren, um jeden Satz einer mehrsätzig erzählten Geschichte darzustellen. Im Gegensatz zur Video-Generierung, die auf die Erhaltung der Kontinuität der generierten Bilder (Bilderfolgen) abzielt, legt die Story-Visualisierung besonderen Wert auf die Aufrechterhaltung der globalen Konsistenz von Figuren und Szenen über verschiedene Story-Bilder hinweg – eine Herausforderung, da die einzelnen Geschichtensätze nur spärliche Signale für die Bildgenerierung liefern. Um diese Herausforderungen anzugehen, schlagen wir einen neuen Ansatz namens Character-Preserving Coherent Story Visualization (CP-CSV) vor. CP-CSV erlernt effektiv die Visualisierung einer Geschichte durch drei zentrale Module: einen Story- und Kontext-Encoder (Lernen von Story- und Satzrepräsentationen), eine Figuren-Hintergrund-Segmentierung (Hilfsaufgabe zur Bereitstellung von Informationen zur Erhaltung von Figuren- und Geschichtskonsistenz) sowie eine figuren- und hintergrundbewusste Generierung (Generierung einer Bildfolge unter Einbeziehung von Figuren-Hintergrund-Informationen). Darüber hinaus schlagen wir eine Metrik namens Fr'{e}chet Story Distance (FSD) vor, um die Leistung der Story-Visualisierung zu bewerten. Umfangreiche Experimente zeigen, dass CP-CSV die Details der Figureninformationen bewahrt und eine hohe Konsistenz zwischen den einzelnen Bildern erreicht, während FSD die Leistung der Story-Visualisierung präziser misst.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp