2ヶ月前
科学的リーダーボード構築のためのタスク、データセット、評価指標、および数値スコアの特定
Yufang Hou; Charles Jochim; Martin Gleize; Francesca Bonin; Debasis Ganguly

要約
新規タスクの急速な立ち上げと新しいデータセットの導入は、コミュニティが興味深い方向性へと活発な研究を促進する一方で、異なる領域やデータセットにおける多様な研究活動を追跡することはますます困難になる可能性があります。本稿では、科学的な結果を要約する自動システム(例えば、リーダーボードの形で)を開発することで、コミュニティに大きな利益をもたらすことが期待されます。私たちは2つのデータセットを作成し、NLP論文からタスク、データセット、評価指標、およびスコアを自動的に抽出することを目指したフレームワーク(TDMS-IE)を開発しました。実験結果は、私たちのモデルが複数のベースラインを大幅に上回ることを示しています。私たちのモデルは、NLP分野での自動リーダーボード構築への第一歩となります。