ARTEMIS：テキスト明示的マッチングと暗黙の類似性を活用した注意機構ベースの検索

画像検索の直感的な手法の一つとして、例画像と補足テキストから構成されるクエリを使用する方法がある。この場合、例画像は検索に向けた豊かな暗黙的な文脈を提供する一方で、補足テキストは新たな特徴の要求や、例画像内の特定要素をどのように変更すべきかを明示的に指定する。従来の手法では、クエリの二つの要素（画像とテキスト）の特徴を統合して単一の表現にまとめるのが一般的であり、この表現を候補となるターゲット画像の表現と比較することで検索を実現している。本研究では、このタスクを、よく知られ且つ関連性の高い二つのフレームワーク——テキストから画像への生成（text-to-image）と画像から画像への検索（image-to-image retrieval）——の視点から再考察することにより、新たな知見を提供することを目指す。これらのフレームワークから着想を得て、クエリの各要素とターゲット画像との特定の関係性に着目し、軽量なアテンション機構を設計することで、二つの補完的モダリティ間の調整を可能にした。我々のアプローチは、複数の検索ベンチマークにおいて、例画像と自由形式のテキスト修飾子を用いたクエリで検証された。その結果、従来の手法で用いられる補助情報や多段階特徴、重い事前学習、大規模なアーキテクチャを一切用いずに、最先端の性能を達成した。