使用对比学习在语言模型嵌入中施加关系结构

尽管语言模型的文本嵌入技术已彻底革新了自然语言处理（NLP）研究，但其在捕捉高层语义信息（如文本中实体之间的关系）方面仍存在局限。本文提出了一种新颖的对比学习框架，旨在训练句向量嵌入，使其能够编码图结构中的实体关系。给定一条句子（非结构化文本）及其对应的图结构，我们利用对比学习方法，对通过CharacterBERT模型（El Boukkouri et al., 2020）获得的句子级词元（token-level）表示施加与关系相关的结构约束。所得到的关系感知句向量在关系抽取任务上仅使用一个简单的KNN分类器即达到了当前最优性能，充分证明了该方法的有效性。通过t-SNE可视化分析进一步验证了所学表示空间相较于基线方法的优越性。此外，我们还展示了可通过对比学习目标学习一个适用于命名实体识别（NER）的独立表示空间，并成功将两种表示空间融合，应用于联合实体-关系识别任务中。