要約
我々はインスタンスレベルの画像検索向けに新しい手法を提案します。この手法は、多くの領域ごとの記述子を集約することにより、各画像に対して全体的でコンパクトな固定長の表現を生成します。従来の研究では、事前学習された深層ネットワークを特徴量生成のブラックボックスとして利用していましたが、我々の手法では画像検索という特定のタスクのために訓練された深層アーキテクチャを活用しています。本研究の貢献は二つあります：(i) ランキングフレームワークを利用して、領域特徴量を構築するために使用される畳み込みと射影の重みを学習します；(ii) 領域提案ネットワークを利用して、最終的な全体的な記述子を形成するためにプーリングすべき領域を学習します。我々は、クリーンな訓練データを使用することが我々の手法の成功にとって重要であることを示しています。その目的のために、大規模だがノイジーなランドマークデータセットを使用し、自動的なデータクリーニング手法を開発しました。提案されたアーキテクチャは単一の順方向パスで全体的な画像表現を生成します。我々の手法は標準的なデータセットにおいて、全体的な記述子に基づく従来の手法よりも大幅に優れています。また、コストのかかる局所記述子インデクシングや空間検証に基づく多くの先行研究を超える性能も示しています。追加資料は www.xrce.xerox.com/Deep-Image-Retrieval で入手可能です。