要約
対話は情報交換の効果的な手段ですが、微妙な詳細とニュアンスが極めて重要です。視覚対話にアルゴリズムを適用するための道筋を示す大きな進歩があったものの、詳細とニュアンスは依然として課題となっています。注意メカニズムは、視覚的な質問応答において詳細を抽出する上で魅力的な結果を示しており、解釈可能性と効果性から視覚対話にも説得力のあるフレームワークを提供しています。しかし、視覚対話に伴う多くのデータユーティリティは既存の注意技術に対して挑戦となっています。この問題に対処し、任意の数のデータユーティリティで動作する一般的な注意メカニズムを開発しました。そのため、任意の数のユーティリティ表現を組み合わせる要因グラフに基づく注意メカニズムを設計しました。提案手法の適用可能性を最近導入された難易度の高いVisDialデータセットで示し、VisDial0.9では最近の最先端手法よりも1.1%、VisDial1.0ではMRR（Mean Reciprocal Rank）で2%上回る結果を得ました。我々のアンサンブルモデルはVisDial1.0におけるMRRスコアを6%以上向上させました。