2ヶ月前

階層的カリキュラム学習を用いた対話応答選択

Yixuan Su; Deng Cai; Qingyu Zhou; Zibo Lin; Simon Baker; Yunbo Cao; Shuming Shi; Nigel Collier; Yan Wang
階層的カリキュラム学習を用いた対話応答選択
要約

我々は対話応答選択のためのマッチングモデルの学習について研究しています。最近の研究で、ランダムなネガティブサンプルを用いて訓練されたモデルが実世界のシナリオでは理想的ではないことが示されています。これを受け、我々は「簡単から難しい」スキームでマッチングモデルを訓練する階層的なカリキュラム学習フレームワークを提案します。この学習フレームワークには、相補的な2つのカリキュラムが含まれています。(1) コーパスレベルのカリキュラム(CC);(2) インスタンスレベルのカリキュラム(IC)。CCにおいては、モデルが対話コンテキストと応答候補との間でのマッチング手がかりを見つける能力を段階的に向上させます。一方、ICにおいては、対話コンテキストと応答候補との間での非マッチング情報を識別する能力を段階的に強化します。3つのベンチマークデータセットと3つの最先端のマッチングモデルを使用した経験的研究により、提案された学習フレームワークが様々な評価指標においてモデル性能を大幅に向上させることが示されました。

階層的カリキュラム学習を用いた対話応答選択 | 最新論文 | HyperAI超神経