視覚的根拠付けのための多様化および識別的提案生成の再考

視覚的定位の目的は、テキストクエリで指定された画像内の物体を特定することである。これまでに様々な視覚的定位手法が提案されており、この問題は一般的なフレームワークに分割できる：候補生成、多モーダル特徴表現、および候補ランキング。これらの3つのモジュールの中で、既存のアプローチは主に後者の2つに焦点を当てており、候補生成の重要性が一般的に軽視されている。本論文では、良質な提案生成器の特性について再考する。提案生成時に多様性と識別性を同時に導入し、これによりDiversified and Discriminative Proposal Networks（DDPN）モデルを提案する。DDPNによって生成された提案に基づいて、我々は視覚的定位のための高性能ベースラインモデルを提案し、4つのベンチマークデータセット上で評価を行う。実験結果は、我々のモデルがすべてのテストデータセットで大幅な改善を達成していることを示している（例：ReferItGameでは18.8%、Flickr30k Entitiesでは8.2%それぞれ既存の最先端技術に対して改善した）。