HyperAIHyperAI

Command Palette

Search for a command to run...

ノイジーチャネルモデルの事前学習を用いたタスク指向対話

Qi Liu Lei Yu Laura Rimell Phil Blunsom

概要

タスク指向対話における直接デコーディングは、モデルが短く一般的な応答を好む傾向を示す「説明効果」(explaining-away effect)に苦しむことが知られています。本稿では、ベイズの定理を使用して、対話タスクを2つのモデルに分解することを提唱します。1つは応答が与えられた際の文脈の分布、もう1つは応答自体の事前確率分布です。このアプローチはノイジー・チャネル・モデルの一例であり、「説明効果」を軽減するとともに、応答の事前確率分布に大規模な事前学習済みモデルを体系的に組み込むことを可能にします。私たちは広範な実験を通じて、ノイジー・チャネル・モデルが直接デコーディングよりも優れた応答を生成し、オープンドメインとタスク指向対話データの両方を使用する2段階の事前学習戦略がランダム初期化されたモデルよりも性能を向上させることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています