HyperAIHyperAI

Command Palette

Search for a command to run...

使用上下文向量与图重置改进词嵌入

Jiangbin Zheng†, Yile Wang†, Ge Wang, Jun Xia, Yufei Huang, Guojiang Zhao, Yue Zhang, Stan Z. Li∗

摘要

尽管大规模预训练模型生成的情境化嵌入在许多任务中表现出色,传统的静态嵌入(如Skip-gram、Word2Vec)由于其较低的计算成本、易于部署和稳定性,在低资源和轻量级场景中仍发挥着重要作用。本文旨在通过以下两种方法改进词嵌入:1)将现有预训练模型中的更多情境信息融入Skip-gram框架,我们称之为Context-to-Vec;2)提出一种独立于训练过程的静态嵌入后处理调整方法,利用先验同义词知识和加权向量分布。通过外在和内在任务的评估,我们的方法被证明在很大程度上优于基线方法。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供