HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き対照的前学習によるテキスト埋め込み

Liang Wang; Nan Yang; Xiaolong Huang; Binxing Jiao; Linjun Yang; Daxin Jiang; Rangan Majumder; Furu Wei

概要

本論文では、最先端のテキスト埋め込みモデルであるE5を紹介します。このモデルは、我々がキュレーションした大規模なテキストペアデータセット(CCPairsと呼ぶ)から得られる弱い監督信号を使用して、対照的な方法で学習されています。E5は、検索、クラスタリング、分類など、単一ベクトル表現が必要なあらゆるタスクに汎用的に使用でき、ゼロショット設定とファインチューニング設定の両方で優れた性能を達成しています。我々はBEIRおよびMTEBベンチマークから56のデータセットに対して広範な評価を行いました。ゼロショット設定において、E5はラベル付きデータを使用せずに強力なBM25ベースラインを上回った初のモデルとなりました。ファインチューニングされた場合、E5は既存の40倍以上のパラメータを持つ埋め込みモデルを上回り、MTEBベンチマークで最良の結果を得ています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています