要約
本論文では、画像から自然言語の質問に答えるためのスタック型注意ネットワーク（SANs: Stacked Attention Networks）を提案する。SANsは、質問の意味表現をクエリとして使用し、画像内の回答に関連する領域を探し出す。我々は、画像に関する質問応答（QA: Question Answering）がしばしば複数段階の推論を必要とするという主張をする。したがって、複数回にわたって画像を照会し、段階的に回答を推論する多層SANを開発した。4つの画像QAデータセットでの実験結果は、提案されたSANsが従来の最先端手法を大幅に上回ることを示している。注意層の可視化により、SANが層ごとに回答につながる関連する視覚的な手がかりを見つけていく過程が明確に示されている。