要約
多くの非監督依存関係解析器は、親子間の局所的な情報のみを考慮する一階の確率的生成モデルに基づいています。二階の監督付き依存関係解析に着想を得て、祖孫や兄弟姉妹の情報を組み込んだ非監督ニューラル依存関係モデルの一階拡張を提案しました。また、依存関係モデルのニューラルパラメータ化と最適化手法に関する新しい設計も提案しています。二階モデルでは、語彙量が増加すると文法規則の数が立方的に増えるため、数千語を含む可能性のある語彙化されたモデルを学習することが困難になります。この問題を回避しつつ、二階解析と語彙化の両方の利点を得るため、合意ベースの学習フレームワークを使用して、二階非語彙化モデルと一階語彙化モデルを共同で学習させました。複数のデータセットでの実験結果は、最近の最先端手法と比較して我々の二階モデルが有効であることを示しています。我々の共同モデルは、完全なWSJテストセットにおいて以前の最先端解析器よりも10%向上しました。