要約
タスク指向対話における直接デコーディングは、モデルが短く一般的な応答を好む傾向を示す「説明効果」（explaining-away effect）に苦しむことが知られています。本稿では、ベイズの定理を使用して、対話タスクを2つのモデルに分解することを提唱します。1つは応答が与えられた際の文脈の分布、もう1つは応答自体の事前確率分布です。このアプローチはノイジー・チャネル・モデルの一例であり、「説明効果」を軽減するとともに、応答の事前確率分布に大規模な事前学習済みモデルを体系的に組み込むことを可能にします。私たちは広範な実験を通じて、ノイジー・チャネル・モデルが直接デコーディングよりも優れた応答を生成し、オープンドメインとタスク指向対話データの両方を使用する2段階の事前学習戦略がランダム初期化されたモデルよりも性能を向上させることを示しています。