自己監督タスクを用いた検索型対話における効果的なコンテキスト-レスポンス照合モデルの学習

マルチターンのコンテキストに応じて適切な応答を選択する知能対話システムの構築は、非常に挑戦的な課題である。既存の研究では、さまざまなニューラルアーキテクチャや事前学習済み言語モデル（PLMs）を使用してコンテキスト-応答マッチングモデルを構築し、通常は単一の応答予測タスクで学習することに焦点が当てられている。これらのアプローチは、対話データに含まれる多くの潜在的な訓練信号を見落としており、これらはコンテキスト理解に役立ち、より良い特徴量を応答予測のために生成する可能性がある。さらに、従来の方法で監督された既存の対話システムから取得された応答は、一貫性の欠如や整合性の問題など、いくつかの重要な課題に直面している。これらの課題に対処するために、本論文では、事前学習済み言語モデルに基づいて対話データ向けに設計された補助的な自己監督タスクを使用してコンテキスト-応答マッチングモデルを学習する方法を提案する。具体的には、次のセッション予測、発話復元、不整合検出、一貫性識別という4つの自己監督タスクを導入し、これらの補助タスクと多タスク学習によってPLMベースの応答選択モデルを共同で訓練する。これにより、補助タスクがマッチングモデルの学習をガイドし、より良い局所最適解を達成し、より適切な応答を選択することが可能となる。2つのベンチマークデータセットでの実験結果は、提案した補助的な自己監督タスクが検索ベースの対話におけるマルチターン応答選択に対して有意な改善をもたらすことを示しており、当社のモデルは両方のデータセットで新たな最先端の成果を達成している。