自动连接嵌入以进行结构化预测

预训练的上下文化嵌入（contextualized embeddings）是结构预测任务中强大的词表示方法。近期的研究发现，通过连接不同类型的嵌入可以获得更好的词表示。然而，选择嵌入以形成最佳的连接表示通常会因任务和候选嵌入集的不同而变化，而且随着嵌入类型数量的不断增加，这一问题变得更为复杂。在本文中，我们提出了一种自动化的嵌入连接方法（Automated Concatenation of Embeddings, ACE），该方法基于神经架构搜索领域的最新进展，旨在自动化地寻找适用于结构预测任务的更好嵌入连接方案。具体而言，控制器根据当前对各嵌入类型在特定任务中的有效性的判断交替采样嵌入连接，并根据奖励更新其信念。我们采用了强化学习中的策略来优化控制器的参数，并基于任务模型的准确性计算奖励，该任务模型以采样的嵌入连接作为输入并在任务数据集上进行训练。在6个任务和21个数据集上的实证结果表明，我们的方法优于强大的基线方法，并且在所有评估中通过微调嵌入实现了最先进的性能。