Command Palette

Search for a command to run...

4ヶ月前

SemEval-2022 タスク 4:おだてたり軽んじたりする言語の検出

{Steven Schockaert Luis Espinosa-Anke Carla Perez-Almendros}

SemEval-2022 タスク 4:おだてたり軽んじたりする言語の検出

要約

本稿では、SemEval-2022におけるTask 4の概要を提示する。本タスクは、脆弱なコミュニティに対する「高圧的・上から目線な言語」(Patronizing and Condescending Language: PCL)の検出に焦点を当てたものである。2つのサブタスクが設定された:1つ目は、与えられた段落にPCLが含まれるか否かを二値分類するタスクであり、2つ目は、PCLが存在する場合、その種類(複数の種類が存在する可能性あり)を多ラベル分類するタスクである。本タスクには300人を超える参加者が参加し、77のチームが提出し、229件の有効な提出が行われた。本稿では、タスクの運営体制について概説し、参加者たちが採用した各種技術的手法を検討した上で、PCLの検出および分類に関する主な知見をまとめる。

ベンチマーク

ベンチマーク方法論指標
binary-condescension-detection-on-dpmRoBERTa Baseline
F1-score: 49.1
multi-label-condescension-detection-on-dpmRoBERTa Baseline
Macro-F1: 10.4
semeval-2022-task-4-1-binary-pcl-detection-onRoBERTa Baseline
F1-score: 49.1
semeval-2022-task-4-2-multi-label-pclRoBERTa Baseline
Macro-F1: 10.4

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SemEval-2022 タスク 4:おだてたり軽んじたりする言語の検出 | 論文 | HyperAI超神経