要約
アテンション機構に完全に依存するヴァスワニら（2017）によって導入されたトランスフォーマーは、機械翻訳において最先端の成果を達成しています。リカレントニューラルネットワークや畳み込みニューラルネットワークとは異なり、その構造において相対的な位置情報や絶対的な位置情報を明示的にモデル化していません。代わりに、絶対的な位置の表現を入力に追加する必要があります。本研究では、自己アテンション機構を拡張し、シーケンス要素間の相対的な位置情報や距離を効率的に考慮する代替手法を提案します。WMT 2014英語-ドイツ語および英語-フランス語翻訳タスクにおいて、この手法はそれぞれ絶対的な位置表現に対して1.3 BLEU点と0.3 BLEU点の改善をもたらしました。特に、相対的な位置表現と絶対的な位置表現を組み合わせることで翻訳品質にさらなる改善が見られなかったことを観察しています。当該方法の効率的な実装について説明し、任意のグラフラベル付き入力にも一般化可能な関係認識型自己アテンション機構の一例として提示します。