HyperAIHyperAI

Command Palette

Search for a command to run...

非自己帰納的ニューラル機械翻訳のためのGlancing Transformer

Lihua Qian Hao Zhou Yu Bao Mingxuan Wang Lin Qiu Weinan Zhang Yong Yu Lei Li

概要

近年の非逐次的神経機械翻訳(NAT)に関する研究は、品質を損なわずに並列デコードによって効率を向上させることを目指している。しかし、既存のNAT手法は、Transformerに劣るか、複数回のデコードを必要とし、結果として高速化の恩恵が減少するという課題を抱えている。本研究では、単一のデコードパスで単語間の依存関係を学習可能な「見渡す言語モデル(Glancing Language Model, GLM)」を提案する。GLMを基盤として、機械翻訳向けに「見渡す変換器(Glancing Transformer, GLAT)」を構築した。単一の並列デコードパスのみを用いることで、GLATは高品質な翻訳を生成しつつ、8〜15倍の高速化を達成できる。複数のWMT言語方向における実験結果から、GLATはこれまでのすべての単一パス非逐次的手法を上回り、Transformerとほぼ同等の性能を発揮し、BLEUスコアの差を0.25〜0.9ポイントまで縮小することに成功した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
非自己帰納的ニューラル機械翻訳のためのGlancing Transformer | 記事 | HyperAI超神経