2 个月前
ArcheType:一种使用大型语言模型进行开源列类型标注的新框架
Benjamin Feuer; Yurong Liu; Chinmay Hegde; Juliana Freire

摘要
现有的深度学习方法在语义列类型注释(CTA)方面存在重要缺陷:它们依赖于训练时固定的语义类型;每种类型需要大量训练样本,且运行时推理成本较高;当在新数据集上进行评估时,即使类型保持不变,其性能也可能下降。大型语言模型在多种任务中表现出强大的零样本分类能力,本文探讨了其在CTA中的应用。我们引入了一种简单实用的方法——ArcheType,该方法通过上下文采样、提示序列化、模型查询和标签重映射,使大型语言模型能够在完全零样本的情况下解决CTA问题。我们分别对方法的每个组件进行了消融实验,并确定上下文采样和标签重映射的改进提供了最一致的性能提升。ArcheType在零样本CTA基准测试中建立了新的最先进水平(包括我们在本文中发布的三个新的领域特定基准),并且当与经典CTA技术结合使用时,在微调后的SOTAB基准测试中优于最先进的DoDuo模型。我们的代码可在https://github.com/penfever/ArcheType 获取。