クロスモーダル規則を用いた情報的なビジュアルストーリーテリング

視覚ストーリーテリング分野における既存の手法は、画像に多くの意味のある内容が含まれているにもかかわらず、一般的な説明を生成する問題をしばしば抱えています。情報豊かなストーリーの生成に失敗する原因は、モデルが十分な意味のある概念を捉える能力に欠けていることに帰結できます。これらの概念のカテゴリーには、エンティティ、属性、アクション、イベントが含まれます。これらは場合によっては根拠に基づいたストーリーテリングにおいて重要な役割を果たします。この問題を解決するために、我々はクロスモーダル規則を掘り起こし、特定の視覚入力からこれらの情報豊かな概念を推論するための方法を提案します。まず、CNN活性化と単語インデックスを連結してマルチモーダルトランザクションを作成します。次に、関連規則掘り起こしアルゴリズムを使用してクロスモーダル規則を掘り起こし、これらの規則を利用して概念推論を行います。クロスモーダル規則の助けにより、生成されるストーリーはより根拠に基づいており、情報量も豊富になります。さらに、我々が提案する手法には解釈可能性、拡張可能性、転送可能性という利点があり、より広範な応用への潜在性があります。最後に、我々はこれらの概念をアテンションメカニズムを持つエンコーダ-デコーダフレームワークで活用しています。VIsual StoryTelling (VIST) データセット上で複数の実験を行い、その結果は自動評価指標と人間評価の両面で我々のアプローチの有効性を示しています。また追加実験では、我々が掘り起こしたクロスモーダル規則が追加知識として機能し、小規模データセットでの学習時にモデルの性能向上に寄与することが示されています。