Command Palette

Search for a command to run...

4달 전

AliEdalat, SemEval-2022 Task 4: 미세조정된 언어 모델, BERT+BiGRU 및 앙상블 모델을 이용한 배려심 없고 위계적인 언어 탐지

{Behnam Bahrak Yadollah Yaghoobzadeh Ali Edalat}

AliEdalat, SemEval-2022 Task 4: 미세조정된 언어 모델, BERT+BiGRU 및 앙상블 모델을 이용한 배려심 없고 위계적인 언어 탐지

초록

이 논문은 AliEdalat 팀이 SemEval-2022 Task 4: 관계적 및 경멸적 언어(Patronizing and Condescending Language, PCL) 탐지에서 제안한 방법론 및 결과를 제시한다. 이 과제는 취약 집단에 대한 차별을 방지하기 위해 텍스트 내에 존재하는 PCL 및 PCL 유형을 탐지하는 것을 목표로 한다. 우리는 PCL의 존재를 탐지하기 위해 세 가지 기본 모델의 앙상블을 사용한다. 각각은 미세조정된 BigBird, 미세조정된 MPNet, 그리고 BERT+BiGRU이다. 그러나 이 앙상블 모델은 과적합 문제로 인해 베이스라인 모델보다 성능이 떨어지며, F1 점수는 0.3031을 기록하였다. 제출한 모델의 문제를 해결하기 위한 다른 접근 방식도 제안한다. 우리는 PCL의 다양한 유형을 별도로 고려한다. 각 PCL 유형을 탐지하기 위해, 마치 PCL 탐지기처럼 행동한다. BERT+BiGRU 대신 미세조정된 RoBERTa를 모델에 활용한다. PCL 유형 탐지에서 본 모델은 베이스라인 모델을 초과하며, F1 점수 0.2531을 달성하였다. 또한, 두 가지 PCL 유형을 탐지하기 위한 새로운 모델을 제안하고, 제출한 모델들을 모두 상회하는 성능을 보였다.

벤치마크

벤치마크방법론지표
binary-condescension-detection-on-dpmensemble model (BigBird and MPNet)
F1-score: 55.1
multi-label-condescension-detection-on-dpmensemble model (BigBird, MPNet)
Macro-F1: 31.6

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
AliEdalat, SemEval-2022 Task 4: 미세조정된 언어 모델, BERT+BiGRU 및 앙상블 모델을 이용한 배려심 없고 위계적인 언어 탐지 | 연구 논문 | HyperAI초신경