2 个月前

半监督一致性训练的形式化风格迁移

Ao Liu; An Wang; Naoaki Okazaki
半监督一致性训练的形式化风格迁移
摘要

形式化风格迁移(Formality Style Transfer, FST)是一项将非正式句子改写为正式句子的任务,同时不改变其含义。为了应对现有平行数据集的数据稀缺问题,以往的研究倾向于采用循环重构方案来利用额外的未标注数据,其中FST模型主要从目标侧未标注句子中受益。在本研究中,我们提出了一种简单而有效的半监督框架,通过一致性训练更好地利用源侧未标注句子。具体而言,我们的方法通过对源侧非正式句子生成伪平行数据,并强制模型为其扰动版本生成相似的输出。此外,我们通过实证研究考察了不同数据扰动方法的效果,并提出了有效的数据过滤策略以改进我们的框架。实验结果表明,在GYAFC基准测试中,即使使用不到40%的平行数据,我们的方法也能达到最先进的效果。

半监督一致性训练的形式化风格迁移 | 最新论文 | HyperAI超神经