AliEdalat, SemEval-2022 Task 4: 미세조정된 언어 모델, BERT+BiGRU 및 앙상블 모델을 이용한 배려심 없고 위계적인 언어 탐지

이 논문은 AliEdalat 팀이 SemEval-2022 Task 4: 관계적 및 경멸적 언어(Patronizing and Condescending Language, PCL) 탐지에서 제안한 방법론 및 결과를 제시한다. 이 과제는 취약 집단에 대한 차별을 방지하기 위해 텍스트 내에 존재하는 PCL 및 PCL 유형을 탐지하는 것을 목표로 한다. 우리는 PCL의 존재를 탐지하기 위해 세 가지 기본 모델의 앙상블을 사용한다. 각각은 미세조정된 BigBird, 미세조정된 MPNet, 그리고 BERT+BiGRU이다. 그러나 이 앙상블 모델은 과적합 문제로 인해 베이스라인 모델보다 성능이 떨어지며, F1 점수는 0.3031을 기록하였다. 제출한 모델의 문제를 해결하기 위한 다른 접근 방식도 제안한다. 우리는 PCL의 다양한 유형을 별도로 고려한다. 각 PCL 유형을 탐지하기 위해, 마치 PCL 탐지기처럼 행동한다. BERT+BiGRU 대신 미세조정된 RoBERTa를 모델에 활용한다. PCL 유형 탐지에서 본 모델은 베이스라인 모델을 초과하며, F1 점수 0.2531을 달성하였다. 또한, 두 가지 PCL 유형을 탐지하기 위한 새로운 모델을 제안하고, 제출한 모델들을 모두 상회하는 성능을 보였다.