HyperAIHyperAI

Command Palette

Search for a command to run...

チャットボット向けのマルチターン応答選択におけるディープアテンションマッチングネットワーク

dianhai yu daxiang dong Ying Chen Yi Liu Hua Wu Xiangyang Zhou Lu Li Wayne Xin Zhao

概要

人間は対話要素とその文脈間の意味的・機能的依存関係、特に共参照関係を活用して応答を生成する。本論文では、アテンションに基づく依存関係情報を完全に用いて、複数ターンの文脈と応答を一致させる手法を検討する。本研究のアプローチは、機械翻訳における最近のTransformerモデル(Vaswaniら、2017年)に着想を得ており、アテンション機構を二つの側面から拡張する。第一に、スタックされた自己アテンションのみを用いて、異なる粒度のテキストセグメント表現を構築する。第二に、文脈と応答の間のアテンションを通じて、真正に一致するセグメントペアを抽出することを試みる。これらの二種類のアテンションを、一つの統一されたニューラルネットワーク内で共同で導入する。二つの大規模な複数ターン応答選択タスクにおける実験結果から、本研究で提案するモデルが、従来の最先端モデルを著しく上回ることが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています