2 个月前

基于注意力的置信度

Matīss Rikters; Mark Fishel
基于注意力的置信度
摘要

生成翻译的注意力分布是基于注意力机制的循环神经网络翻译模型的一个有用副产品,可以被视为输入和输出标记之间的软对齐。在本研究中,我们将注意力分布用作输出翻译的置信度指标。我们提出了两种利用注意力分布的策略:从大规模回译语料库中过滤掉质量较差的翻译,以及在两个不同翻译系统的混合设置中选择最佳翻译。尽管人工评估显示我们的置信度评分与人类判断之间仅有较弱的相关性,但这些应用场景展示了显著的改进效果,在英语-德语和英语-拉脱维亚语翻译测试中,过滤策略最多提高了2.22个BLEU分,而混合翻译策略则提高了0.99个BLEU分。

基于注意力的置信度 | 最新论文 | HyperAI超神经