GermEval 2021에서의 FHAC: 앙상블 학습을 이용한 독일어 유해, 참여 유도, 및 사실 주장 댓글 식별

대규모 사전 학습된 신경망 모델(예: BERT와 ELECTRA)에서 학습된 언어 표현의 활용은 최근 몇 년 동안 많은 하류 자연어 처리 작업에서 개선을 가져왔습니다. 이러한 사전 학습 모델들은 일반적으로 사전 학습 목표, 구조, 그리고 그들이 훈련된 데이터셋에 따라 다르며, 이는 하류 성능에 영향을 미칠 수 있습니다. 본 연구에서는 GermEval 2021 경진대회가 제공한 Facebook 데이터를 사용하여 독일어 BERT와 독일어 ELECTRA 모델을 세부 과제 1(악성 댓글 식별), 세부 과제 2(참여 유도 댓글 식별), 세부 과제 3(사실 주장 댓글 식별)에 대해微調했습니다. 우리는 이러한 모델들의 앙상블을 생성하고, 분류 성능이 앙상블 구성원의 수와 그 구성에 어떻게 의존하는지 조사하였습니다. 샘플 외 데이터에서 우리의 최고 앙상블은 모든 세부 과제에 대해 0.73의 매크로-F1 점수를 달성하였으며, 각각의 세부 과제 1, 2, 3에서는 0.72, 0.70, 0.76의 F1 점수를 기록하였습니다.注：在“微調しました”这部分，正确的韩文翻译应该是“미세 조정했습니다”。以下是修正后的版本：대규모 사전 학습된 신경망 모델(예: BERT와 ELECTRA)에서 학습된 언어 표현의 활용은 최근 몇 년 동안 많은 하류 자연어 처리 작업에서 개선을 가져왔습니다. 이러한 사전 학습 모델들은 일반적으로 사전 학습 목표, 구조, 그리고 그들이 훈련된 데이터셋에 따라 다르며, 이는 하류 성능에 영향을 미칠 수 있습니다. 본 연구에서는 GermEval 2021 경진대회가 제공한 Facebook 데이터를 사용하여 독일어 BERT와 독일어 ELECTRA 모델을 세부 과제 1(악성 댓글 식별), 세부 과제 2(참여 유도 댓글 식별), 세부 과제 3(사실 주장 댓글 식별)에 대해 미세 조정했습니다. 우리는 이러한 모델들의 앙상블을 생성하고, 분류 성능이 앙상블 구성원의 수와 그 구성에 어떻게 의존하는지 조사하였습니다. 샘플 외 데이터에서 우리의 최고 앙상블은 모든 세부 과제에 대해 0.73의 매크로-F1 점수를 달성하였으며, 각각의 세부 과제 1, 2, 3에서는 0.72, 0.70, 0.76의 F1 점수를 기록하였습니다.