17日前

STIR:画像検索の後処理を 위한シアメーズ変換器

Aleksei Shabanov, Aleksei Tarasov, Sergey Nikolenko
STIR:画像検索の後処理を 위한シアメーズ変換器
要約

画像検索における現在のメトリック学習アプローチは、通常、情報量の多い潜在表現空間を学習し、コサイン距離などの単純な距離計測法が効果的に機能するように設計されている。近年の最先端手法であるHypViTは、より複雑な埋め込み空間へと進化しており、より優れた性能を発揮する可能性がある一方で、実運用環境へのスケーラビリティに課題を抱えている。本研究では、まず、ハードネガティブサンプルのマイニングを用いたトリプレット損失に基づくシンプルなモデルを構築し、最先端レベルの性能を達成しつつも、そのようなスケーラビリティの問題を回避する。第二に、画像検索の後処理のための新規アプローチとして、画像検索用シメイズトランスフォーマー(Siamese Transformer for Image Retrieval, STIR)を提案する。STIRは、一回の順伝播(forward pass)で複数の上位出力を再順序付けることができる。従来の再順序付けトランスフォーマーとは異なり、STIRはグローバル/ローカル特徴の抽出に依存せず、アテンション機構を活用してクエリ画像と検索候補画像をピクセルレベルで直接比較する。このアプローチにより、標準的な画像検索データセットであるStanford Online ProductsおよびDeepFashion In-shopにおいて、新たな最先端性能を達成した。また、本研究のソースコードは https://github.com/OML-Team/open-metric-learning/tree/main/pipelines/postprocessing/ にて公開しており、インタラクティブなデモは https://dapladoc-oml-postprocessing-demo-srcappmain-pfh2g0.streamlit.app/ で体験可能である。

STIR:画像検索の後処理を 위한シアメーズ変換器 | 最新論文 | HyperAI超神経