HyperAIHyperAI

Command Palette

Search for a command to run...

SentiStory:視覚的物語生成のための多層構造な感情認識型生成モデル

Jianwei Niu Xuefeng Liu Wei Chen

概要

視覚的物語生成(Visual Storytelling, VIST)タスクは、画像ストリームを入力として、自然で人間らしい、かつ一貫性のある物語を生成することを目的としている。近年、多くの深層学習モデルが有望な成果を上げているが、その多くは物語における感情情報(センチメント情報)を直接活用していない。本論文では、VISTタスク向けに感情に敏感な生成モデル「SentiStory」を提案する。SentiStoryの核となるのは、マルチレイヤー感情抽出モジュール(Multi-layered Sentiment Extraction Module, MLSEM)である。与えられた画像ストリームに対して、MLSEMの上位層は粗いが正確な感情を、下位層は細かいが通常は信頼性の低い感情を抽出する。これらの二つの層を戦略的に統合することで、VISTタスクに適した一貫性があり豊かな視覚的感情概念を生成する。自動評価および人間評価の両方の結果から、MLSEMの導入により、SentiStoryがより一貫性があり人間らしい物語を生成する能力が向上することが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SentiStory:視覚的物語生成のための多層構造な感情認識型生成モデル | 記事 | HyperAI超神経