このデータセットの情報は次のものから得られます。 カンピナス州立大学 MO434 主題の知識ベース。

導入

これは、画像と画像に関する自然言語の質問に基づいて回答を生成するシンプルな Flask アプリです。このアプリは、内部で TensorFlow でトレーニングされた深層学習モデルを使用します。

モデル概要

ディープラーニングの発展により、マルチモーダルラーニング関連タスクの解決が促進されました。ビジュアル質問応答 (VQA) は非常に困難な例であり、画像からの高レベルのシーン解釈と、関連する質問応答言語と組み合わせたモデリングが必要です。画像とその画像に関する自然言語の質問が与えられた場合、タスクは正確な自然言語の回答を提供することです。これは、このタスクを実行するために設計された Keras に実装されたエンドツーエンド システムです。

モデルのアーキテクチャは論文に基づいています 視覚的な質問応答のための階層型質問と画像の同時注意 。