対照的な画像-テキストモデル（例えばCLIP）は、多くの最先端システムの基本構成要素となっています。これらのモデルは一般的な概念を認識する点で優れていますが、事前学習データセットに希少または存在しない微細なエンティティについては依然として苦戦しています。したがって、それらの成功の鍵となる要素の一つは、事前学習段階で記憶できる概念の範囲を拡大することを目指した大規模なキュレーションされた事前学習データの使用でした。本研究では、微細な知識を直接モデルのパラメータにエンコードする代わりに、外部メモリからこの知識を取得するようにモデルを訓練することを探索します。具体的には、既存のビジョン-テキストモデルに、推論時にクロスモーダルな情報を取り入れて埋め込みを洗練する機能を付加することを提案します。これにより、ゼロショット予測が大幅に向上します。特に注目に値するのは、凍結されたCLIP上に軽量かつ単層の融合トランスフォーマーを使用することでこれが実現できることです。我々の実験結果は、提案する検索強化型対照的（RECO）学習がCLIPの性能をいくつかの困難な微細分類タスクにおいて大幅に向上させることを確認しています：例えばStanford Carsで+10.9ポイント、CUB-2011で+10.2ポイント、最近のOVENベンチマークで+7.3ポイント改善しており、未見クラスでのファインチューニング済みモデルよりも優れた性能を示しています。