HyperAIHyperAI

Command Palette

Search for a command to run...

テキストベースの人物検索における属性を活用したマッチング

Surbhi Aggarwal R. Anirban Chakraborty Venkatesh Babu

概要

テキストベースの人物検索は、与えられたテキストクエリと最も一致する人物画像を検索することを目的としている。従来の手法では、クラスID情報を活用して識別性が高く、身元を保持する特徴量を取得している。しかし、データの意味情報を明示的に保持することの利点については十分に検討されていない。本研究では、属性予測という追加タスクを通じて、意味情報を保持する埋め込み表現(semantics-preserving embeddings)を構築することを目指す。属性のラベルは、テキストベースの人物検索では通常入手困難であるため、まずテキストコーパスから属性を抽出する。得られた属性は、画像とテキストの入力間のモダリティギャップを埋める手段として利用するだけでなく、表現学習の向上にも寄与する。要するに、本研究ではクラス情報に基づく空間に加えて、属性に基づく空間を学習するアプローチを提案し、両方の空間を活用して検索結果を得る。ベンチマークデータセットCUHK-PEDESにおける実験結果から、属性空間の学習が性能向上に寄与することが示され、最高のRank-1精度56.68%を達成した。さらに、得られた特徴量は人間にとって解釈可能な性質を持つことも明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
テキストベースの人物検索における属性を活用したマッチング | 記事 | HyperAI超神経