アンサンブルディスティレーションを用いた教師なし構文解析

私たちは、言語的にアノテーションされたデータを使用せずに、文章の単語やフレーズを階層構造に組織化する非監督構文解析タスクを調査しました。既存の非監督パーサーが異なる解析構造の側面を捉えていることを観察し、これを活用することで非監督解析の性能を向上させられる可能性があると考えました。この目的のために、「ツリー平均化」（tree averaging）という概念を提案し、さらに非監督解析用の新しいアンサンブル手法を提案します。推論効率を向上させるために、アンサンブルの知識を学生モデルに蒸留する方法も提案しています。このような「アンサンブルしてから蒸留」のプロセスは、一般的な多教師蒸留手法で見られる過度な平滑化問題を軽減する効果的なアプローチです。実験結果は、私たちの手法がこれまでのすべてのアプローチを超えており、異なるアンサンブルコンポーネントやドメインシフト条件においても一貫してその有効性と堅牢性を示していることを示しています。