グローバルに正規化された遷移ベースのニューラルネットワーク

我々は、世界最先端の品詞タグ付け、依存関係解析、および文圧縮の結果を達成する、グローバルに正規化された遷移ベースのニューラルネットワークモデルを紹介します。当該モデルは特定のタスクに適した遷移システム上で動作する単純なフィードフォワード型ニューラルネットワークであり、リカレント型モデルと同等かそれ以上の精度を達成しています。また、局所的な正規化に対してグローバルな正規化の重要性について議論します。重要な洞察として、ラベルバイアス問題がグローバルに正規化されたモデルが局所的に正規化されたモデルよりも厳密に表現力が高いことを示唆しています。