2021년 AAAI 공동 과제에서 텍스트 트랜스포머 탐색: 영어 기반 코로나19 가짜 뉴스 탐지

이 논문에서는 AAAI 2021 공동 과제인 영어권 코로나19 가짜 뉴스 탐지에서 우리 시스템에 대해 설명한다. 해당 과제에서 우리는 테스트 세트 기준 가중 평균 F1 스코어 0.9859를 기록하여 3위를 달성하였다. 구체적으로, BERT, RoBERTa, ERNIE 등 다양한 사전 학습된 언어 모델을 통합하는 방법을 제안하였으며, 웜업(warm-up), 학습률 스케줄링, k겹 교차 검증(k-fold cross-validation) 등의 다양한 학습 전략을 적용하였다. 또한, 잘못 분류된 샘플에 대한 광범위한 분석을 수행하였다. 코드는 다음 링크에서 확인할 수 있다: https://github.com/archersama/3rd-solution-COVID19-Fake-News-Detection-in-English.