HyperAIHyperAI

Command Palette

Search for a command to run...

AdvAug: 神経機械翻訳におけるロバストな adversarial augmentation

Yong Cheng Lu Jiang Wolfgang Macherey Jacob Eisenstein

概要

本稿では、ニューラル機械翻訳(NMT)のための新たな敵対的増強手法を提案する。本手法の核心的なアイデアは、観測された学習文対の周辺に中心を持つ滑らかな補間埋め込み空間を記述する、敵対的文に対する新たな周辺分布を用いて、仮想文を2つの周辺分布からサンプリングし、その上で仮想リスク(vicinal risk)を最小化することにある。さらに、本研究では、この仮想文の埋め込みをシーケンス・トゥ・シーケンス学習に活用する手法AdvAugについて検討する。中国語-英語、英語-フランス語、英語-ドイツ語の翻訳ベンチマークにおける実験結果から、AdvAugはTransformerベースのモデルに対して顕著な性能向上を示し(最大で4.9 BLEUポイントの向上)、追加のコーパスを用いずに、バックトランスレーションを含む他のデータ増強手法を大きく上回ることが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています