Plot und Rework: Modellierung von Handlungssträngen für visuelle Geschichten

Die Erstellung einer kohärenten und ansprechenden Geschichte ist nicht einfach. Kreative Schriftsteller nutzen ihr Wissen und ihre Weltanschauung, um lose Elemente zu einem zusammenhängenden Erzählfluss zu verbinden, und arbeiten iterativ, um das Perfekte zu erreichen. Automatisierte visuelle Geschichtenerzählsysteme (VIST) nutzen hingegen externe Wissensressourcen und iteratives Generieren nur unzureichend. In dieser Arbeit stellen wir PR-VIST vor, einen Rahmen, der eine Eingabebildsequenz als Geschichtengraph darstellt und darin den optimalen Pfad zur Erstellung einer Erzählung identifiziert. Anschließend nutzt PR-VIST diesen Pfad, um durch einen iterativen Trainingsprozess die endgültige Geschichte zu erlernen. Dieser Ansatz erzeugt Geschichten, die sowohl automatisiert als auch durch menschliche Bewertungen hinsichtlich Vielfalt, Kohärenz und Natürlichkeit überlegen sind. Eine Ablationsstudie zeigt, dass sowohl die Plot-Entwicklung als auch das iterative Nacharbeiten zur Überlegenheit des Modells beitragen.