Command Palette
Search for a command to run...
常識知識を考慮したコンセプト選択による多様性と情報量に富んだ視覚的ストーリーテリング
常識知識を考慮したコンセプト選択による多様性と情報量に富んだ視覚的ストーリーテリング
Hong Chen Yifei Huang Hiroya Takamura Hideki Nakayama
概要
視覚的ストーリーテリングは、与えられた画像シーケンスに対して関連性があり、魅力的な物語を生成するタスクである。本研究では、画像から得られる情報を保持しつつ、生成される物語の多様性を高めることを目的としている。我々は、概念候補の集合を提示する概念選択モジュールを導入することで、生成物語の多様性と情報性を向上させることを提案する。その後、大規模事前学習モデルを用いて、これらの概念と画像を統合的に処理し、完成度の高い物語へと変換する。候補概念の豊かさを高めるために、各画像シーケンスから共通認識知識グラフを構築し、そこから概念候補を抽出する。さらに、グラフから適切な概念を抽出するために、候補概念間の相関関係および画像と概念の相関関係を考慮する新たな2つのモジュールを提案する。広範な自動評価および人間評価の結果から、本モデルが妥当な概念を生成できることを示した。これにより、物語の多様性と情報性において、従来モデルを大きく上回る性能を達成しつつ、画像シーケンスとの関連性を維持することが可能となった。