Command Palette
Search for a command to run...
{Steven Schockaert Luis Espinosa-Anke Carla Perez-Almendros}

要約
本稿では、SemEval-2022におけるTask 4の概要を提示する。本タスクは、脆弱なコミュニティに対する「高圧的・上から目線な言語」(Patronizing and Condescending Language: PCL)の検出に焦点を当てたものである。2つのサブタスクが設定された:1つ目は、与えられた段落にPCLが含まれるか否かを二値分類するタスクであり、2つ目は、PCLが存在する場合、その種類(複数の種類が存在する可能性あり)を多ラベル分類するタスクである。本タスクには300人を超える参加者が参加し、77のチームが提出し、229件の有効な提出が行われた。本稿では、タスクの運営体制について概説し、参加者たちが採用した各種技術的手法を検討した上で、PCLの検出および分類に関する主な知見をまとめる。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| binary-condescension-detection-on-dpm | RoBERTa Baseline | F1-score: 49.1 |
| multi-label-condescension-detection-on-dpm | RoBERTa Baseline | Macro-F1: 10.4 |
| semeval-2022-task-4-1-binary-pcl-detection-on | RoBERTa Baseline | F1-score: 49.1 |
| semeval-2022-task-4-2-multi-label-pcl | RoBERTa Baseline | Macro-F1: 10.4 |