2ヶ月前

会話データセットのリポジトリ

Matthew Henderson; Paweł Budzianowski; Iñigo Casanueva; Sam Coope; Daniela Gerz; Girish Kumar; Nikola Mrkšić; Georgios Spithourakis; Pei-Hao Su; Ivan Vulić; Tsung-Hsien Wen
会話データセットのリポジトリ
要約

機械学習の進歩は、大規模なデータセットの利用可能性とモデリング手法を比較するための一貫した評価指標によってしばしば推進されています。この目的のために、我々は数億のサンプルからなる対話データセットのリポジトリと、「1-of-100 正解率」を使用した対話応答選択モデルの標準的な評価手順を提示します。このリポジトリには、研究者が標準データセットを再現するためのスクリプトや、前処理やデータフィルタリングステップを自身のニーズに合わせて調整するためのスクリプトが含まれています。また、対話応答選択のためのいくつかの競争力のあるベースラインモデルを導入し、評価しています。これらのベースラインモデルの実装はリポジトリで共有されており、さらに全体のトレーニングセットで訓練されたニューラルエンコーダーモデルも紹介しています。注:「1-of-100 正解率」('1-of-100 accuracy')は一般的な用語ではないため、原文を括弧内に記載しました。