RaSa: テキストベースの人物検索における関係と感度を考慮した表現学習

テキストベースの人物検索は、与えられた文章の説明に基づいて特定の人物画像を検索することを目指しています。この課題に取り組むためには、強力な多モーダル表現を学習することが重要です。これに向けて、我々は関係認識と感度認識の表現学習手法（Relation and Sensitivity aware representation learning method, RaSa）を提案します。RaSaには、2つの新しいタスクが含まれています：関係認識学習（Relation-Aware learning, RA）と感度認識学習（Sensitivity-Aware learning, SA）です。まず、既存の方法では、すべての正例ペアの表現を区別なくクラスタリングし、テキストと対応する画像間にノイズがある弱い正例ペアによるノイズ問題を見落としているため、過学習が発生しやすくなります。RAは、新しい正例関係検出タスク（つまり、強い正例ペアと弱い正例ペアを区別する学習）を導入することで、過学習リスクを軽減します。また、データ拡張下での不変表現を学習すること（つまり、一部の変換に対して感度が低いことを学ぶこと）は、既存の方法で表現の堅牢性を向上させる一般的な実践です。さらに、SAにより表現が敏感な変換を認識できるように促すことで（つまり、置き換えられた単語を検出する学習）、表現の堅牢性が向上します。実験結果は、RaSaがCUHK-PEDES, ICFG-PEDES, RSTPReidデータセットにおいてそれぞれRank@1で既存の最先端手法よりも6.94%, 4.45%, 15.35%優れていることを示しています。コードは以下のURLから入手可能です：https://github.com/Flame-Chasers/RaSa.