GALAXY: タスク指向対話のための半教師あり学習と明示的ポリシー注入を用いた生成予訓練モデル

事前学習モデルは、タスク指向対話システムの性能向上においてその効果を証明しています。しかし、現在の事前学習方法は主に対話理解と生成タスクの強化に焦点を当てており、対話ポリシーの活用が軽視されています。本論文では、GALAXY（ギャラクシー）と呼ばれる新しい事前学習対話モデルを提案します。このモデルは、半教師あり学習を通じて限定的なラベル付き対話データと大規模な非ラベル付き対話コーパスから対話ポリシーを明示的に学習します。具体的には、事前学習中にポリシー最適化のために対話行為予測タスクを導入し、非ラベル付き対話を用いて学習された表現を洗練するための一貫性正則化項を使用しています。また、適切な非ラベル付き対話サンプルの重み付けを行うゲーティング機構も実装しました。経験的結果は、GALAXYがタスク指向対話システムの性能を大幅に向上させることを示しており、ベンチマークデータセットであるIn-Car、MultiWOZ2.0およびMultiWOZ2.1で新たな最先端の結果を達成しています。これらのデータセットにおけるエンドツーエンド統合スコアはそれぞれ2.5ポイント、5.3ポイント、5.5ポイント向上しました。さらに、様々な低リソース設定下でGALAXYが既存のモデルよりも優れた少量ショット能力を持つことを示しています。