非自己帰納的ニューラル機械翻訳のためのGlancing Transformer

近年の非逐次的神経機械翻訳（NAT）に関する研究は、品質を損なわずに並列デコードによって効率を向上させることを目指している。しかし、既存のNAT手法は、Transformerに劣るか、複数回のデコードを必要とし、結果として高速化の恩恵が減少するという課題を抱えている。本研究では、単一のデコードパスで単語間の依存関係を学習可能な「見渡す言語モデル（Glancing Language Model, GLM）」を提案する。GLMを基盤として、機械翻訳向けに「見渡す変換器（Glancing Transformer, GLAT）」を構築した。単一の並列デコードパスのみを用いることで、GLATは高品質な翻訳を生成しつつ、8〜15倍の高速化を達成できる。複数のWMT言語方向における実験結果から、GLATはこれまでのすべての単一パス非逐次的手法を上回り、Transformerとほぼ同等の性能を発揮し、BLEUスコアの差を0.25〜0.9ポイントまで縮小することに成功した。