HyperAI超神経

Image Text Matching

画像とテキストのマッチングは、クロスモーダル検索(CMR)のサブタスクであり、画像とその対応するテキスト説明の間に関連性を確立することを目指しています。このタスクの目的は、テキストクエリに基づいて関連する画像を検索したり、画像クエリに基づいて対応するテキスト説明を検索したりすることです。画像とテキストデータの表現の違いによる異種間隔(ヘテロジニアスギャップ)が存在するため、このタスクは非常に困難です。また、コンテンツベースの画像検索、視覚的な質問応答、マルチモーダル要約などの場面で広く応用されています。