Command Palette

Search for a command to run...

4ヶ月前

ステーント検出のための知識拡張型マスク言語モデル

{Lisa Singh Kornraphop Kawintiranon}

ステーント検出のための知識拡張型マスク言語モデル

要約

Twitterにおける立場(stance)の検出は、各ツイートの短さ、新しい用語やハッシュタグの継続的な創出、および標準的な文章構造からの逸脱という点で特に困難である。大規模なドメイン特化データを用いたファインチューニングにより、多くの自然言語処理(NLP)タスクにおいて、包括的な言語モデルが新たな最先端の性能を示している。本論文では、ステークホルダの立場を検出するための、BERTに基づく新たなファインチューニング手法を提案する。従来のランダムなトークンマスキングとは異なり、本手法では、立場の区別能が高い語を「重み付きログオッズ比(weighted log-odds-ratio)」を用いて特定し、そのような語に注目するアテンション機構を導入する。実験の結果、2020年米国大統領選挙に関するTwitterデータに対する立場検出において、本手法が既存の最先端手法を上回ることを示した。

ベンチマーク

ベンチマーク方法論指標
stance-detection-us-election-2020-biden-onKE-MLM
Average F1: 0.7577
stance-detection-us-election-2020-trump-onKE-MLM
Average F1: 0.7877

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ステーント検出のための知識拡張型マスク言語モデル | 論文 | HyperAI超神経