要約
私たちは画像とその領域の自然言語説明を生成するモデルを提案します。当該手法は、画像とその文の説明のデータセットを活用して、言語と視覚データ間のモーダル間対応関係を学習します。私たちのアライメントモデルは、画像領域に対する畳み込みニューラルネットワーク（CNN）、文に対する双方向リカレントニューラルネットワーク（RNN）、そして2つのモーダルをマルチモーダル埋め込みを通じて対応させる構造化された目的関数という新しい組み合わせに基づいています。次に、推論されたアライメントを使用して、画像領域の新たな説明を生成するために学習するマルチモーダルリカレントニューラルネットワーク（RNN）アーキテクチャについて説明します。私たちはFlickr8K、Flickr30KおよびMSCOCOデータセットにおける検索実験で、当該アライメントモデルが最先端の結果を生み出すことを示しています。さらに、生成された説明が全体的な画像と新規に作成した領域レベル注釈データセットにおいても、検索基準モデルを大幅に上回ることを示しています。