17 天前

情节与重构:面向视觉叙事的故事线建模

Chi-Yang Hsu, Yun-Wei Chu, Ting-Hao &#39, Kenneth&#39, Huang, Lun-Wei Ku
情节与重构:面向视觉叙事的故事线建模
摘要

撰写一篇连贯且引人入胜的故事并非易事。创意写作者凭借自身的知识积累与世界观,将零散的元素有机整合,构建出逻辑清晰的叙事脉络,并通过反复推敲与修改,不断追求完善。然而,现有的自动化视觉叙事(Automated Visual Storytelling, VIST)模型在生成故事时,往往未能有效利用外部知识,也缺乏迭代生成机制。为此,本文提出PR-VIST框架,该框架将输入的图像序列表示为一个故事图(story graph),并在其中寻找最优路径以构建叙事主线。随后,PR-VIST基于该路径,通过迭代式训练过程学习生成最终故事。实验结果表明,该框架生成的故事在多样性、连贯性与人类自然度方面均显著优于现有方法,且在自动评估与人工评估中均表现优异。消融实验进一步验证了“情节构建”(plotting)与“反复打磨”(reworking)两个关键环节对模型性能提升的重要贡献。