HyperAIHyperAI

Command Palette

Search for a command to run...

常識知識を考慮したコンセプト選択による多様性と情報量に富んだ視覚的ストーリーテリング

Hong Chen Yifei Huang Hiroya Takamura Hideki Nakayama

概要

視覚的ストーリーテリングは、与えられた画像シーケンスに対して関連性があり、魅力的な物語を生成するタスクである。本研究では、画像から得られる情報を保持しつつ、生成される物語の多様性を高めることを目的としている。我々は、概念候補の集合を提示する概念選択モジュールを導入することで、生成物語の多様性と情報性を向上させることを提案する。その後、大規模事前学習モデルを用いて、これらの概念と画像を統合的に処理し、完成度の高い物語へと変換する。候補概念の豊かさを高めるために、各画像シーケンスから共通認識知識グラフを構築し、そこから概念候補を抽出する。さらに、グラフから適切な概念を抽出するために、候補概念間の相関関係および画像と概念の相関関係を考慮する新たな2つのモジュールを提案する。広範な自動評価および人間評価の結果から、本モデルが妥当な概念を生成できることを示した。これにより、物語の多様性と情報性において、従来モデルを大きく上回る性能を達成しつつ、画像シーケンスとの関連性を維持することが可能となった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
常識知識を考慮したコンセプト選択による多様性と情報量に富んだ視覚的ストーリーテリング | 記事 | HyperAI超神経