AMES：インスタンスレベルの検索における非対称かつメモリ効率的な類似度推定

本研究は、メモリ効率の制約のもとでインスタンスレベルの画像検索再ランク付け（re-ranking）問題に取り組み、最終的に1枚の画像あたりのメモリ使用量を1KB以内に抑えることを目的としている。現在の主流である性能向上に注力するアプローチとは異なり、本研究では性能とメモリ要件の間の重要なトレードオフを優先的に考慮している。提案するモデルは、局所記述子（local descriptors）に基づいて画像内および画像間の相互作用を捉えることで、画像間の類似度を推定するTransformerベースのアーキテクチャを採用している。このモデルの特徴的な性質として、非対称な類似度推定が可能である点が挙げられる。データベース画像はクエリ画像に比べて少ない数の記述子で表現されるため、メモリ消費を増加させることなく性能の向上が実現できる。異なるアプリケーションに適応可能とするために、テスト段階で局所記述子の数を可変的に調整できる汎用モデルも導入している。標準ベンチマーク上での実験結果から、本手法が手動設計および学習型モデルを上回る優位性を示していることが明らかになった。特に、メモリ使用量を無視する現行の最先端手法と比較して、本手法は優れた性能を達成するだけでなく、著しく低いメモリフットプリントを実現している。コードおよび事前学習済みモデルは、以下のURLにて公開されている：https://github.com/pavelsuma/ames