HyperAIHyperAI

Command Palette

Search for a command to run...

条件付きかつ構成可能な画像検索:CLIPベース特徴量の統合と部分的ファインチューニング

Alberto del Bimbo Tiberio Uricchio Marco Bertini Alberto Baldrati

概要

本稿では、CLIP特徴に基づく条件付きかつ組み合わせ型画像検索の手法を提案する。このコンテンツベース画像検索(CBIR)の拡張手法では、ユーザーの意図に関する情報を含むテキストと画像を統合し、ECサイトなど特定の応用分野において有用な情報提供を実現する。提案手法は、初期の訓練段階において視覚的特徴とテキスト的特徴を単純に組み合わせることで、CLIPのテキストエンコーダーを微調整する。その後の第二段階では、視覚的特徴とテキスト的特徴をより複雑に統合するコンビナートネットワークを学習する。両段階において対照学習(contrastive learning)が用いられる。本手法は、FashionIQデータセットにおける条件付きCBIRおよび、より最近のCIRRデータセットにおける組み合わせ型CBIRにおいて、現行の最先端性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています