要約
対抗的訓練（AT）は、ニューラルネットワークの強力な正則化手法であり、入力の摂動に対する堅牢性を達成することを目指しています。しかし、自然言語処理の文脈において、ATから得られる堅牢性の具体的効果はまだ明確ではありません。本論文では、ATを活用したニューラルPOSタギングモデルを提案し、分析します。我々がPenn Treebank WSJコーパスとUniversal Dependencies（UD）データセット（27言語）で行った実験では、ATが全体的なタギング精度を向上させるだけでなく、1) リソースが少ない言語での過学習を防止し、2) 希少または未見単語のタギング精度を向上させることを見出しました。また、3) ATによって改善されたタギング性能が依存関係解析という下流タスクに貢献すること、4) ATがモデルにクリーナーな単語表現を学ばせるのに役立つことを示しました。5) 提案するATモデルは異なる系列ラベリングタスクにおいて一般的に有効であることが確認されました。これらの肯定的な結果は、自然言語処理におけるATのさらなる利用を促進するものと考えられます。