要約
ニューラルパラメータ化は、無教師文法誘導に大幅な進歩をもたらしました。しかし、これらのモデルをすべての可能な解析に対して伝統的な尤度損失で学習させると、2つの問題が悪化します：1) 構造最適化解の曖昧さ（$\textit{structural optimization ambiguity}$）であり、ゴールド解析の特定の選好に関わらず構造的に曖昧な最適解のいずれかを任意に選択し、2) 構造的単純性バイアス（$\textit{structural simplicity bias}$）であり、モデルが解析木を作成するために規則を十分に利用しないことを引き起こします。これらの課題により、無教師ニューラル文法誘導（UNGI）は避けられない予測誤差、高い分散、および正確な予測を達成するためには広範な文法が必要となる状況に直面しています。本論文ではこれらの問題に対処し、その起源について包括的な分析を提供します。解決策として、我々は$\textit{文ごとの解析焦点化}$（$\textit{sentence-wise parse-focusing}$）を提案します。これは、同じデータセットで事前学習されたパーザからの構造的バイアスを使用して、各文の損失評価における解析プールを削減することを目指しています。無教師パースベンチマークテストにおいて、我々の手法は性能を大幅に向上させつつ、分散と過度に単純化された解析へのバイアスを効果的に低減しました。当研究はよりコンパクトで正確かつ一貫性のある明示的文法の学習を促進し、解釈可能性の向上に貢献します。