要約
我々はしばしば摂動（perturbations）をニューラルモデルの正則化に用いる。ニューラルエンコーダデコーダモデルにおいて、これまでの研究ではスケジュールドサンプリング（Bengioら, 2015）や敵対的摂動（Satoら, 2019）が摂動として採用されてきたが、これらの手法は計算時間の消費が大きく、コストがかかる。したがって、本研究では、これらのアプローチが訓練時間の観点から十分に効率的かどうかという問題に着目する。我々は、シーケンス・トゥ・シーケンス問題において、複数の摂動手法を計算時間の観点から比較検討した。実験の結果、単純な手法である単語ドロップアウト（GalとGhahramani, 2016）や入力トークンのランダム置換が、最近提案された摂動手法と同等（あるいはそれ以上）の性能を達成していることが示された。さらに、これらの単純な手法は計算速度が速いため、実用性に優れている。本研究のコードは、https://github.com/takase/rethink_perturbations にて公開されている。