要約
テキストベースの人物検索は、歩行者の画像を自然言語の記述と関連付けることを目的とする。このタスクにおいて、同一人物および記述間で差別的な表現を抽出し、それらを適切にアライメントすることは、本質的かつ困難な課題である。従来の多くは、ノイズを含む入力から関連する領域や語を抽出するために、追加の言語解析器や視覚技術に依存している。しかし、これには大きな計算コストが伴い、誤差の累積も避けがたい。また、単に水平方向のセグメンテーション画像を用いて局所レベルの特徴を取得する方法は、モデルの信頼性を損なう可能性がある。本論文では、鍵となる手がかりを効果的に抽出し、差別的な特徴を適応的にアライメントできる、エンドツーエンド型のシンプルで堅牢な相関フィルタリング（Simple and Robust Correlation Filtering, SRCF）手法を提案する。従来の手法とは異なり、本フレームワークはテンプレートと入力の間の類似度を計算することに焦点を当てる。特に、重要な特徴を抽出し、マルチモーダルなマッピングを構築するために、二種類の異なるフィルタリングモジュール（ノイズ除去フィルタと辞書フィルタ）を設計した。広範な実験により、本手法がモデルの堅牢性を向上させ、二つのテキストベースの人物検索データセットにおいて優れた性能を達成することが示された。ソースコードは https://github.com/Suo-Wei/SRCF で公開されている。