Hierarchisch strukturiertes Reinforcement Learning für thematisch kohärente visuelle Geschichtenerzählung

Wir schlagen einen hierarchisch strukturierten Ansatz des Reinforcement Learnings vor, um die Herausforderungen der Planung bei der Erstellung kohärenter Mehrsatzgeschichten für die visuelle Storytelling-Aufgabe zu bewältigen. In unserem Framework wird die Aufgabe, eine Geschichte anhand einer Bildsequenz zu generieren, auf zwei Ebenen eines hierarchischen Decoders verteilt. Der hochrangige Decoder erstellt einen Plan, indem er für jedes Bild in der Sequenz ein semantisches Konzept (d.h., ein Thema) generiert. Der niedrigrangige Decoder erzeugt dann für jedes Bild einen Satz unter Verwendung eines semantischen Kompositionsnetworks, das die Satzerzeugung effektiv an das Thema bindet. Die beiden Decoders werden mithilfe von Reinforcement Learning end-to-end gemeinsam trainiert. Wir evaluieren unser Modell am visuellen Storytelling-Datensatz (VIST). Empirische Ergebnisse sowohl aus automatischen als auch aus menschlichen Bewertungen zeigen, dass der vorgeschlagene hierarchisch strukturierte und durch Reinforcement Learning verstärkte Trainingsansatz eine deutlich bessere Leistung erzielt im Vergleich zu einem starken flachen Deep-Reinforcement-Learning-Basisansatz.