スケッチ・ミ・セオ・シューズ

本研究では、手書きのスケッチをクエリとして用いて画像のインスタンスレベルの検索を行う、細粒度スケッチベース画像検索（SBIR）の問題に取り組む。このタスクは極めて困難であり、その理由は以下の3点に集約される。第一に、視覚的比較は細粒度であるだけでなく、ドメイン間（スケッチと写真）で実行されなければならない。第二に、手書き（指で描かれた）スケッチは極めて抽象的であり、細粒度なマッチングをさらに困難にしている。そして何より第三に、学習に必要なドメイン間スケッチ-写真データセットのアノテーションが極めて不足しており、これにより最先端の機械学習手法の適用が困難となっている。本論文では、初めてこのすべての課題に同時に取り組み、商業的なスケッチベース画像検索アプリケーションの実現に向けた一歩を示す。我々は、2つのカテゴリからなる1,432組のスケッチ-写真ペアから構成され、32,000件の細粒度トリプルットランキングアノテーションを備えた新しいデータベースを提案する。さらに、細粒度トレーニングデータの不足問題を緩和するため、独自のデータ拡張手法と段階的事前学習戦略を用いた深層トリプルットランキングモデルを構築した。広範な実験を通じて、深層ネットワークを用いた細粒度ドメイン間ランク付けタスクの学習において、データの十分性の確保と過学習の回避に関する多様な知見を提供した。