11日前

プロットと再構築:視覚的物語制作のためのストーリーラインモデリング

Chi-Yang Hsu, Yun-Wei Chu, Ting-Hao &#39, Kenneth&#39, Huang, Lun-Wei Ku
プロットと再構築:視覚的物語制作のためのストーリーラインモデリング
要約

一貫性があり魅力的な物語を書くことは容易ではない。創造的な作家は、自身の知識や世界観を活用して断片的な要素を統合し、一貫した物語構成を構築する。その後、反復的に修正・改善を重ねて完成度を高めていく。一方、自動視覚物語生成(Automated Visual Storytelling, VIST)モデルは、物語作成の際に外部知識の活用や反復的生成プロセスを十分に活かせていない。本論文では、入力となる画像シーケンスを「ストーリーグラフ」として表現するPR-VISTというフレームワークを提案する。このフレームワークは、最適な物語進行経路をグラフ内で探索し、その経路を基に反復的な学習プロセスを通じて最終的な物語を生成する。評価結果によれば、自動評価および人間評価の両面において、PR-VISTは多様性、一貫性、人間らしさの点で優れた物語を生成することが確認された。アブレーションスタディの結果から、物語の構成(plotting)と反復的修正(reworking)の両方がモデルの優位性に寄与していることが示された。

プロットと再構築:視覚的物語制作のためのストーリーラインモデリング | 最新論文 | HyperAI超神経