HyperAIHyperAI

Command Palette

Search for a command to run...

StatCan ダイアログデータセット:真の意図を持つ会話によるデータテーブルの検索

Xing Han Lu Siva Reddy Harm de Vries

概要

私たちは、カナダ統計局で働くエージェントと公開データテーブルを求めるオンラインユーザーとの間で行われた19,379回の会話から構成されるStatCanダイアログデータセットを紹介します。これらの会話は本物の意図に基づいており、英語またはフランス語で行われ、エージェントが5000以上の複雑なデータテーブルのいずれかを検索することに至ります。このデータセットに基づき、以下の2つのタスクを提案します:(1) 継続中の会話に基づいた関連テーブルの自動検索、および (2) 各ターンでの適切なエージェント応答の自動生成です。私たちは各タスクの難易度を強力なベースラインを確立することで調査しました。時系列データ分割での実験結果から、すべてのモデルが将来の会話への汎化に苦労していることが明らかになりました。バリデーションセットからテストセットへ移行する際に、両方のタスクにおいて性能が大幅に低下することが観察されました。さらに、応答生成モデルがテーブルを返すべきタイミングを決定するのが困難であることもわかりました。これらのタスクが既存のモデルにとって大きな挑戦であることを考慮し、コミュニティに対して私たちのタスク向けのモデルを開発することを奨励します。これらのモデルは直接利用可能であり、知識労働者がライブチャットユーザーのために関連するテーブルを見つけるのに役立ちます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています