16日前
反復的非自己回帰型グラフツーグラフTransformerによる依存構文解析:反復的精緻化を用いた手法
Alireza Mohammadshahi, James Henderson

要約
我々は、非自己逐次的グラフtoグラフ変換器を再帰的に適用することで、任意のグラフを反復的に精緻化するための再帰的非自己逐次的グラフtoグラフ変換器アーキテクチャ(RNGTr)を提案し、構文的依存構造解析に応用する。RNGTrの強力さと有効性を、BERTで事前学習された精緻化モデルを用いて、複数の依存構造コーパス上で実証した。また、我々の精緻化モデルに類似した非再帰的な解析器である構文変換器(SynTr)を導入した。RNGTrは、Universal Dependencies Treebanksの13言語、英語および中国語のPenn Treebank、およびGerman CoNLL2009コーパスにおいて、さまざまな初期解析器の精度を向上させることができ、SynTrが達成した最新の最先端結果を上回る結果を示し、テストしたすべてのコーパスにおいて、顕著に最先端の性能を改善した。