HyperAIHyperAI

Command Palette

Search for a command to run...

再帰型ニューラルネットワーク文法は構文について何を学習するのか?

Adhiguna Kuncoro Miguel Ballesteros Lingpeng Kong Chris Dyer Graham Neubig Noah A. Smith

概要

再帰ニューラルネットワーク文法(Recurrent Neural Network Grammars: RNNG)は、自然言語の確率的な生成モデルとして最近提案されたモデル群です。これらのモデルは、最先端の言語モデリングおよび構文解析性能を示しています。本研究では、言語学的観点からRNNGがどのような情報を学習するかを調査し、モデルやデータに対する様々な削除実験を通じて、さらにアテンションメカニズムを導入した拡張モデル(GA-RNNG)を使用して詳細な検証を行いました。その結果、最良の性能を達成するために明示的な合成のモデリングが重要であることが明らかになりました。アテンションメカニズムを通じて、フレーズ表現において中心性(headedness)が中心的な役割を果たしていることがわかりました(モデルの潜在的な注意は手作業で作成された中心規則による予測と大部分で一致していましたが、重要な違いも見られました)。非終端ラベルなしで文法を学習させることにより、フレーズ表現は非終端にほとんど依存しないことが判明しました。これは内中心性仮説(endocentricity hypothesis)を支持する結果となっています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています