埋め込みモデル（Embedding Vector）とは、単語、文書、画像、音声、コードなど、離散的または高次元の情報から連続ベクトルへのマッピングを行うモデルであり、特定のタスクにおいて意味的類似性や特徴的類似性をベクトル間の距離で近似的に表現できるようにする。これは、純粋な記号表現では類似関係を直接表現しにくいという課題を緩和する。例えば、ワンホットエンコーディングでは異なるカテゴリ間のベクトル距離はすべて等しくなるため、「猫」と「犬」は「猫」と「自動車」よりも一般的により近接しているという関係を、このエンコーディングだけでは表現できない。

この技術アプローチは、統計的手法から深層学習へと進化した。初期段階では、TF-IDFのような単語頻度統計や、単語-文書共起行列に基づく次元削減を行う潜在意味解析（LSA）などに依存していた。2013年、Mikolovらは論文『Efficient Estimation of Word Representations in Vector Space』（arXiv:1301.3781）において、連続ワードバッグ（CBOW）とスキップグラム（Skip-gram）という2つの浅いネットワークを用いて、16億語のコーパス上で1日以内に単語ベクトルを学習できることを提案し、ベクトル空間における意味的関係（アナロジー演算など）を示した。これにより、埋め込み手法は自然言語処理における標準的なツールとなった。

Transformerや大規模事前学習の登場に伴い、埋め込みは単語から文、文書、画像、マルチモーダルデータへと拡大した。エンコーダーはテキスト全体を単一のベクトルに圧縮し、対照学習により類似したサンプルを近づけ、非類似のサンプルを遠ざける。ベクトルの次元数は通常数百から数千だが、次元数を高くすることで表現能力が向上する可能性はあるものの、下流タスクの性能向上が保証されるわけではなく、一般的にストレージおよび検索コストが増大する。評価には、多様なタスクをカバーするMTEBなどのベンチマークがよく用いられる。今日、埋め込みモデルは意味検索、レコメンデーション、クラスタリング・重複排除、クロスモーダル検索、検索拡張生成（RAG）を支えており、大規模モデルアプリケーションに不可欠な基盤コンポーネントである。

[JIALIU_0]