要約
本研究の目的は、新しいモデルとデータセットを用いて画像に基づく質問応答（QA）の問題に取り組むことです。当研究では、物体検出や画像セグメンテーションなどの中間段階を経ずに、ニューラルネットワークと視覚的意味埋め込みを使用して、画像に関する単純な質問に対する回答を予測することを提案しています。当モデルは既存の画像QAデータセットにおける唯一の公開結果よりも1.8倍優れた性能を示しています。また、広く利用可能な画像説明をQA形式に変換する質問生成アルゴリズムも提示します。このアルゴリズムを使用して、より均等に分布した回答を持つ一桁大きいデータセットを作成しました。新データセットにおける一連のベースライン結果も報告されています。