HyperAIHyperAI

Command Palette

Search for a command to run...

使用对比学习在语言模型嵌入中施加关系结构

Christos Theodoropoulos James Henderson Andrei C. Coman Marie-Francine Moens

摘要

尽管语言模型的文本嵌入技术已彻底革新了自然语言处理(NLP)研究,但其在捕捉高层语义信息(如文本中实体之间的关系)方面仍存在局限。本文提出了一种新颖的对比学习框架,旨在训练句向量嵌入,使其能够编码图结构中的实体关系。给定一条句子(非结构化文本)及其对应的图结构,我们利用对比学习方法,对通过CharacterBERT模型(El Boukkouri et al., 2020)获得的句子级词元(token-level)表示施加与关系相关的结构约束。所得到的关系感知句向量在关系抽取任务上仅使用一个简单的KNN分类器即达到了当前最优性能,充分证明了该方法的有效性。通过t-SNE可视化分析进一步验证了所学表示空间相较于基线方法的优越性。此外,我们还展示了可通过对比学习目标学习一个适用于命名实体识别(NER)的独立表示空间,并成功将两种表示空间融合,应用于联合实体-关系识别任务中。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供