摘要
神经实体类型模型通常将细粒度的实体类型表示为高维空间中的向量，但这类空间难以有效建模类型之间复杂的依赖关系。本文研究了盒嵌入（box embeddings）在捕捉类型层次结构方面的潜力，即使这些层次关系在本体（ontology）中并未显式定义。我们的模型将类型和实体提及（entity mentions）均表示为d维超矩形（即盒子）。每个实体提及及其上下文被输入基于BERT的模型，以将其嵌入到我们的盒空间中；本质上，该模型利用表面文本中隐含的类型线索，为实体提及推测出相应的类型表示。通过盒子的包含关系，可进一步推导出提及具有某一类型后的后验概率，以及类型之间的条件概率关系。我们在多个实体类型识别基准上将该方法与基于向量的类型模型进行对比，结果表明本方法在性能上达到当前最优水平。除了具备竞争力的类型识别表现外，基于盒子的模型在预测一致性（即同时预测超类型与子类型）和置信度校准（calibration）方面也表现出更优性能，表明盒嵌入模型在捕捉潜在类型层次结构方面优于传统的向量嵌入模型。