使用预训练语言模型标注列

推断表格的元信息（如列标题或列之间的关系）是数据管理领域的一个活跃研究课题，因为我们在许多表格中发现这些信息缺失。本文研究了仅利用表格本身的信息来标注表格列的问题（即预测列类型和列之间的关系）。我们基于预训练语言模型开发了一个多任务学习框架（称为Doduo），该框架以整个表格为输入，并使用单个模型预测列类型和关系。实验结果表明，Doduo在两个基准测试中分别实现了最高4.0%和11.9%的改进，建立了新的最先进性能。我们报告称，Doduo只需每列最少8个标记即可超越之前的最先进性能。我们发布了一个工具箱（https://github.com/megagonlabs/doduo），并通过案例研究验证了Doduo在实际数据科学问题中的有效性。