2ヶ月前

高次照応解消の粗細推論によるアプローチ

Kenton Lee; Luheng He; Luke Zettlemoyer
高次照応解消の粗細推論によるアプローチ
要約

私たちはコアference解消のための高次推論の完全微分可能な近似法を導入します。当該手法では、スパンランキング構造から得られる先行詞分布を注意メカニズムとして利用し、反復処理によりスパン表現を洗練します。これにより、モデルは予測されたクラスタ内の複数のステップをソフトに考慮することが可能になります。この反復プロセスの計算コストを軽減するため、精度が低くても効率的な双線形因子(bilinear factor)を取り入れた粗密接アプローチを提案しています。これにより、精度を損なうことなくより積極的な剪定が可能となります。既存の最先端スパンランキング手法と比較して、私たちのモデルは英語OntoNotesベンチマークで大幅に精度が向上し、かつ遥かに計算効率が高いという結果を得ています。

高次照応解消の粗細推論によるアプローチ | 最新論文 | HyperAI超神経