クエリバンク正規化を用いたクロスモーダルリトリーブ

大規模な学習データセット、ニューラルアーキテクチャ設計の進展、および効率的な推論技術の発展を活かして、同時埋め込み（joint embeddings）は、クロスモーダル検索の主流アプローチとして定着している。本研究では、こうした最先端の同時埋め込み手法が、長年指摘されてきた「ハブ問題（hubness problem）」に著しく悩まされていることを示す。この問題とは、ギャラリー側の埋め込みのうち少数の特異なサンプルが、多数のクエリに対して近傍として常に選ばれてしまう現象である。自然言語処理（NLP）分野の知見に着想を得て、我々は、埋め込み空間におけるハブの影響を補正するためのシンプルかつ効果的なフレームワークである「Querybank正規化（Querybank Normalisation, QB-Norm）」を提案する。QB-Normは再学習を必要とせず、検索性能を向上させる。従来の研究とは異なり、テスト時のクエリに同時アクセスが不要であることを実証した。QB-Normフレームワーク内では、既存手法よりもはるかにロバストな新しい類似度正規化手法「Dynamic Inverted Softmax」も提案する。我々は、さまざまなクロスモーダル検索モデルとベンチマークにおいてQB-Normの有効性を検証し、強力なベースラインを一貫して最先端の性能を上回る結果を示した。コードは以下のURLから公開されている：https://vladbogo.github.io/QB-Norm/。