召回、扩展和多候选交叉编码：快速而准确的超细实体分类

超细实体类型识别（Ultra-fine Entity Typing, UFET）旨在预测给定实体提及（例如，乔·拜登）在上下文中的极其自由形式的类型（例如，总统、政治家）。目前最先进的方法采用基于交叉编码器（Cross-Encoder, CE）的架构。CE 将实体提及及其上下文与每个类型进行拼接，并将这些对输入到预训练语言模型（Pretrained Language Model, PLM）中以评估它们的相关性。这种方法通过加深实体提及与类型的交互来提高性能，但需要对单个实体提及进行 N 次前向传播（N 为类型集的大小），因此当类型集较大时（例如，UFET 中 N = 10k），CE 的推理速度非常慢。为此，我们提出了一种召回-扩展-过滤的方法来进行实体类型识别。在召回和扩展阶段，该方法会从大型类型集中筛选出每个实体提及最相关的 K 个候选类型（K 通常小于 256）。在过滤阶段，我们使用一种称为多候选交叉编码器（Multi-Candidate Cross Encoder, MCCE）的新模型，在一次前向传播中同时编码和评分这 K 个候选类型，从而获得最终的类型预测。我们研究了 MCCE 的不同变体，并通过广泛的实验表明，在超细实体类型识别任务中，MCCE 在我们的框架下达到了最先进的性能，并且比交叉编码器快数千倍。此外，我们还发现 MCCE 在细粒度（130 种类型）和粗粒度（9 种类型）的实体类型识别任务中也非常有效。我们的代码可在以下链接获取：https://github.com/modelscope/AdaSeq/tree/master/examples/MCCE。