Command Palette
Search for a command to run...
{Lingjia Deng Sz-Rung Shiang Jonathan May Alexander Spangher}

要約
ラベル付けスキーマは時間とともに進化するため、わずかな違いさえも、古いスキーマに従って作成されたデータセットを無効にする可能性がある。これにより、研究者が過去のアノテーション作業を基盤に新たな研究を進めることができず、特にディスコース学習分野では、クラスの不均衡が深刻な小さなデータセットが多数存在する状況が生じている。本研究では、類似および多様なドメインからのディスコースデータセットをマルチタスク学習アプローチによって統合することで、ディスコース分類の性能を向上させられることを示す。特に、最近公開された中で最も規模の大きいディスコースデータセットの一つであるNewsDiscourseデータセットにおいて、現在の最先端ベンチマークに対してマイクロF1スコアで4.9%の向上を達成した。この改善は、タスク間のラベル相関が、代表度の低いクラスの性能向上に寄与したことに起因している。さらに、NLPにおけるリソース不足問題に対処するために提案された追加的手法について広範なレビューを行い、本研究の設定においては、これらの手法のいずれも分類精度の向上に寄与していないことを示した。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| text-classification-on-newsdiscourse | MT-Mac (Spangher et al., 2021) | macro F1: 63.46 |
| text-classification-on-newsdiscourse | MT-Mic (Spangher et al., 2021) | macro F1: 61.89 |
| text-classification-on-newsdiscourse | Human (Post-Rec.) (Spangher et al., 2021) | macro F1: 73.69 |
| text-classification-on-newsdiscourse | Human (Blind) (Spangher et al., 2021) | macro F1: 46.18 |