코로나19 정보 대란에 대응하기 위한 포괄적인 BERT 앙상블

이 논문은 코로나19 정보위기(shared task) 영문 과제를 맥락으로, 여섯 가지 서로 다른 트랜스포머 기반 사전 훈련 인코더를 기반으로 한 앙상블 모델인 TOKOFOU 시스템을 설명한다. 각 모델은 과제의 각 질문에 대해 개별적으로 미세 조정(fine-tune)된 후, 다수결 투표 방식을 통해 예측 점수를 통합한다. TOKOFOU는 전체 F1 스코어 89.7%를 기록하여 1위를 달성하였다.