スタック・トランスフォーマーを用いたトランジションベース解析

遷移ベースの構文解析における良好な性能を実現する鍵は、パーサー状態のモデリングにある。再帰型ニューラルネットワーク（RNN）は、グローバルな状態（例：stack-LSTMパーサー）や文脈を考慮した特徴のローカルな状態（例：Bi-LSTMパーサー）をモデル化することで、遷移ベースシステムの性能を著しく向上させた。近年の構文解析システムにおけるTransformerアーキテクチャの成功を踏まえ、本研究では、sequence-to-sequence型Transformerアーキテクチャを変更し、遷移ベースの解析においてグローバル状態またはローカル状態の両方をモデル化する方法を検討する。本研究では、Transformerのクロスアテンション機構の改良が、依存構文解析および抽象意味表現（AMR）解析という両タスクにおいて性能を顕著に向上させることを示している。特に、モデルが小さかったり、訓練データが限られていたりする状況において、その効果は顕著である。