HyperAIHyperAI

Command Palette

Search for a command to run...

構造最適化の曖昧性と非監督ニューラル文法誘導における単純性バイアス

Jinwook Park; Kangil Kim

概要

ニューラルパラメータ化は、無教師文法誘導に大幅な進歩をもたらしました。しかし、これらのモデルをすべての可能な解析に対して伝統的な尤度損失で学習させると、2つの問題が悪化します:1) 構造最適化解の曖昧さ(structural optimization ambiguity\textit{structural optimization ambiguity}structural optimization ambiguity)であり、ゴールド解析の特定の選好に関わらず構造的に曖昧な最適解のいずれかを任意に選択し、2) 構造的単純性バイアス(structural simplicity bias\textit{structural simplicity bias}structural simplicity bias)であり、モデルが解析木を作成するために規則を十分に利用しないことを引き起こします。これらの課題により、無教師ニューラル文法誘導(UNGI)は避けられない予測誤差、高い分散、および正確な予測を達成するためには広範な文法が必要となる状況に直面しています。本論文ではこれらの問題に対処し、その起源について包括的な分析を提供します。解決策として、我々は文ごとの解析焦点化\textit{文ごとの解析焦点化}文ごとの解析焦点化sentence-wise parse-focusing\textit{sentence-wise parse-focusing}sentence-wise parse-focusing)を提案します。これは、同じデータセットで事前学習されたパーザからの構造的バイアスを使用して、各文の損失評価における解析プールを削減することを目指しています。無教師パースベンチマークテストにおいて、我々の手法は性能を大幅に向上させつつ、分散と過度に単純化された解析へのバイアスを効果的に低減しました。当研究はよりコンパクトで正確かつ一貫性のある明示的文法の学習を促進し、解釈可能性の向上に貢献します。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています