HyperAIHyperAI

Command Palette

Search for a command to run...

FRAGE:频率无关的词表示

Chengyue Gong*1 [email protected] Di He*2 [email protected] Xu Tan3 [email protected] Tao Qin3 [email protected] Liwei Wang2,4 [email protected] Tie-Yan Liu3 [email protected]

摘要

连续词表示(又称词嵌入)是许多基于神经网络的自然语言处理模型的基本构建模块。尽管普遍认为具有相似语义的词语在嵌入空间中应该彼此接近,但我们发现,在多个任务中学习到的词嵌入存在偏向于词频的问题:高频词和低频词的嵌入位于嵌入空间的不同子区域,即使语义相似,罕见词和常用词的嵌入也可能相距甚远。这使得学习到的词嵌入在处理罕见词时效果不佳,从而限制了这些神经网络模型的整体性能。本文中,我们提出了一种简洁、简单而有效的方法,通过对抗训练来学习\emph{频率无关的词嵌入}(Frequency-Agnostic Word Embedding, FRAGE)。我们在涵盖四个自然语言处理任务(包括词汇相似度、语言建模、机器翻译和文本分类)的十个数据集上进行了全面的研究。结果表明,使用FRAGE方法后,所有任务的性能均优于基线模型。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供