重新思考编码器-解码器中的扰动以实现快速训练

我们通常利用扰动（perturbations）来正则化神经网络模型。对于神经编码器-解码器架构，以往的研究采用了调度采样（scheduled sampling，Bengio 等，2015）和对抗性扰动（adversarial perturbations，Sato 等，2019）等方法作为扰动手段，但这些方法往往需要较大的计算开销。因此，本研究旨在探讨这些方法在训练时间效率方面是否足够高效。我们针对序列到序列（sequence-to-sequence）任务，比较了多种扰动方法在计算时间上的表现。实验结果表明，尽管计算速度更快，一些简单的技术如词 dropout（Gal 和 Ghahramani，2016）以及输入标记的随机替换，其性能表现可与近期提出的复杂扰动方法相媲美，甚至更优。相关代码已公开，地址为：https://github.com/takase/rethink_perturbations。