12日前

敵対的訓練を用いたタスク指向対話システムにおける二つの教師からの知識の統合

{Ruifeng Xu, Ying Shen, Chengming Li, Rui Yan, Min Yang, Wanwei He}
敵対的訓練を用いたタスク指向対話システムにおける二つの教師からの知識の統合
要約

タスク指向型対話システムにおいて、知識ベース(KB)からの照合によってタスクを完了させるとともに、人間らしい応答を生成するという課題は、近年ますます注目を集めている。本論文では、正確なKBエンティティの検索と人間らしい応答の生成を同時に達成することを目的として、「二教師一学生(Two-Teacher One-Student, TTOS)」学習フレームワークを提案する。TTOSは、二つの教師ネットワークから得られる知識を統合し、高品質なタスク指向型対話システム(学生ネットワーク)の構築に包括的な指導を与える。各教師ネットワークは、目的に特化した報酬を用いた強化学習によって訓練され、特定のタスクにおけるエキスパートとしての役割を果たし、その専門性を学生ネットワークに転移する。従来の教師-学生学習(学生ネットワークの出力を教師ネットワークが生成するソフトターゲットに厳密に再現させる)とは異なり、生成的対抗ネットワーク(GAN)のアプローチを採用し、二つの識別器(discriminators)を導入することで、二つの教師から学生への知識転移を実現する。識別器の導入により、学生と教師間の過度な拘束が緩和され、より柔軟な学習が可能となる。CamRestおよびIn-Car Assistantという二つのベンチマークデータセットにおける広範な実験の結果、TTOSはベースライン手法を顕著に上回ることが示された。

敵対的訓練を用いたタスク指向対話システムにおける二つの教師からの知識の統合 | 最新論文 | HyperAI超神経