CrossWeigh: 불완전한 주석으로부터 명명된 개체 태거를 훈련시키기

모든 사람이 실수를 합니다. 사람 주석자들이 명명된 개체 인식(NER)을 위한 라벨을 정리할 때도 마찬가지입니다. 이러한 라벨 오류는 모델 학습에 해를 끼치고 모델 비교를 방해할 수 있습니다. 본 연구에서는 널리 사용되는 NER 벤치마크 데이터셋 중 하나인 CoNLL03 NER에 대해 깊이 탐구하였습니다. 우리는 약 5.38%의 테스트 문장에서 라벨 오류를 식별할 수 있었는데, 최신 기술의 테스트 F1 점수가 이미 약 93%인 것을 고려하면 이는 상당한 비율입니다. 따라서, 우리는 이러한 라벨 오류를 수작업으로 수정하여 더 깨끗한 테스트 세트를 구성하였습니다. 우리의 수정된 테스트 세트에서 인기 있는 모델들을 재평가한 결과, 원래 테스트 세트에서의 평가보다 더 정확한 결과를 얻었습니다. 더욱 중요한 것은, 우리는 학습 과정 중 라벨 오류를 처리하기 위한 간단하면서도 효과적인 프레임워크인 CrossWeigh(크로스웨이)를 제안합니다. 구체적으로, 이 프레임워크는 학습 데이터를 여러 폴드로 나누고 각 폴드에서 잠재적인 오류를 식별하기 위해 독립적인 NER 모델을 학습시킵니다. 그런 다음, 각각의 학습 데이터 가중치를 조정하여 최종 NER 모델을 학습시킵니다. 광범위한 실험을 통해 세 가지 데이터셋에서 다양한 NER 모델을 우리의 제안된 프레임워크에 적용했을 때 상당한 개선이 이루어짐을 입증하였습니다. 모든 구현 및 수정된 테스트 세트는 우리 Github 저장소에서 이용 가능합니다: https://github.com/ZihanWangKi/CrossWeigh.