HyperAI
Command Palette
Search for a command to run...
嵌入模型(Embedding Vector)是把离散或高维信息——词、句子、文档、图像、音频、代码等——映射为连续向量的模型,使某些任务中的语义或特征相似性可以用向量距离近似表示。它缓解了纯符号表示难以直接表达相似关系的问题:在独热编码里,不同类别向量之间的距离相同,模型无法仅凭这种编码表示“猫”和“狗”通常比“猫”和“汽车”更相近。
这条技术路线经历了从统计到深度学习的演进。早期依赖 TF-IDF 这类词频统计,以及基于词—文档共现矩阵做降维的潜在语义分析(LSA);2013 年,Mikolov 等人在论文《Efficient Estimation of Word Representations in Vector Space》(arXiv:1301.3781)中提出,用连续词袋(CBOW)和跳字(Skip-gram)两种浅层网络,在 16 亿词语料上不到一天就学出词向量,并展示了向量空间中的语义关系(如类比运算),推动嵌入方法成为自然语言处理的标配。
随着 Transformer 与大规模预训练兴起,嵌入从词扩展到句子、文档、图像和多模态:编码器把整段文本压成一个向量,对比学习让相似样本靠近、不相似样本推远。向量维度通常从几百到几千,维度更高可能增加表示容量,但并不保证下游效果更好,同时通常会提高存储与检索成本;评估上常用 MTEB 这类覆盖多任务的基准。今天嵌入模型支撑着语义搜索、推荐、聚类去重、跨模态检索和检索增强生成(RAG),是大模型应用不可或缺的基础组件。