HyperAIHyperAI

Command Palette

Search for a command to run...

対抗訓練を用いた堅牢な多言語品詞タギング

Michihiro Yasunaga; Jungo Kasai; Dragomir Radev

概要

対抗的訓練(AT)は、ニューラルネットワークの強力な正則化手法であり、入力の摂動に対する堅牢性を達成することを目指しています。しかし、自然言語処理の文脈において、ATから得られる堅牢性の具体的効果はまだ明確ではありません。本論文では、ATを活用したニューラルPOSタギングモデルを提案し、分析します。我々がPenn Treebank WSJコーパスとUniversal Dependencies(UD)データセット(27言語)で行った実験では、ATが全体的なタギング精度を向上させるだけでなく、1) リソースが少ない言語での過学習を防止し、2) 希少または未見単語のタギング精度を向上させることを見出しました。また、3) ATによって改善されたタギング性能が依存関係解析という下流タスクに貢献すること、4) ATがモデルにクリーナーな単語表現を学ばせるのに役立つことを示しました。5) 提案するATモデルは異なる系列ラベリングタスクにおいて一般的に有効であることが確認されました。これらの肯定的な結果は、自然言語処理におけるATのさらなる利用を促進するものと考えられます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています