WiRe57：一个细粒度的开放信息抽取基准测试集

我们在五篇文档上构建了一个开放信息抽取任务的参考标准。我们初步解决了该任务中出现的一系列问题，包括推理和粒度。我们的目标是更精确地确定该任务的要求。为此，我们制定了注释指南，明确了哪些信息是可以正确抽取的，哪些是不可以的。随后，我们利用这一参考标准对现有的开放信息抽取系统进行了评估。我们解决了将系统生成的抽取结果与参考元组进行对比评估这一非 trivial 问题（non-trivial problem），并分享了我们的评估脚本。在比较的七种提取器中，我们发现 MinIE 系统的表现最佳。