18日前

PhraseTransformer:局所的文脈情報をシーケンス・トゥ・シーケンス意味解析に統合する手法

{Minh Le Nguyen, Vu Tran, Huy Tien Nguyen, Tung Le, Phuong Minh Nguyen}
要約

意味解析(Semantic parsing)は、自然言語の発話を機械が理解可能な情報表現に変換する困難なタスクである。近年、ニューラル機械翻訳(NMT)を用いたアプローチが、特にTransformerモデルを用いて多くの有望な成果を上げている。しかし、従来のTransformerを意味解析に適用する際の典型的な課題は、文の意味を表現する際に「語句(phrase)」の構造を十分に考慮していない点にある。実際、語句は文の意味構築において重要な役割を果たしている。そこで本研究では、文内の語句依存関係を学習することにより、より詳細な意味表現が可能なアーキテクチャ「PhraseTransformer」を提案する。本モデルの核心的なアイデアは、元のTransformerの自己注意(Self-Attention)機構に長短期記憶(LSTM)を組み込み、単語の局所的文脈を捉えることにある。実験結果から、提案モデルは文の構造理解および論理的表現の面で、従来のTransformerを上回る性能を発揮し、外部の木構造情報(tree information)を一切用いずに、局所的文脈に対する意識(context-awareness)を高めることができた。さらに、再帰構造を導入しているにもかかわらず、PhraseTransformerの順次操作回数は元のTransformerと同様にO(1)のオーダーを維持している。提案モデルはGeoおよびMSParSデータセットにおいて強力な競争性能を示し、ニューラルネットワークを用いる手法としてAtisデータセットにおいてSOTA(State-of-the-Art)性能を達成した。また、モデルの汎化能力を検証するために、IWLST14(ドイツ語-英語)、IWSLT15(ベトナム語-英語)、WMT14(英語-ドイツ語)の3つの翻訳データセットを用いた広範な実験も実施し、顕著な性能向上が確認された。本研究のコードは、https://github.com/phuongnm94/PhraseTransformer.git にて公開されている。