초록
최근의 정보 추출 접근법은 깊은 신경망 모델을 학습시키는 데 의존하고 있다. 그러나 이러한 모델은 노이즈가 있는 레이블에 쉽게 과적합되며 성능 저하를 겪을 수 있다. 대규모 학습 자료에서 노이즈 레이블을 필터링하는 것은 매우 비용이 크지만, 최근 연구들은 노이즈 레이블이 클린 레이블보다 학습 과정에서 더 많은 단계를 필요로 하며, 더 자주 잊혀진다는 점을 밝혀냈다. 즉, 학습 과정에서 노이즈 레이블은 식별 가능하다는 것이다. 이러한 특성을 바탕으로, 동일한 구조를 가지지만 다른 초기화된 파라미터를 가진 여러 신경망 모델을 활용하는 간단한 공동 정규화 프레임워크를 제안한다. 이 모델들은 작업에 특화된 손실 함수와 함께 공동 최적화되며, 일치 손실을 기반으로 유사한 예측을 생성하도록 정규화되어, 노이즈 레이블에 대한 과적합을 방지한다. 정보 추출 분야에서 널리 사용되지만 노이즈가 많은 두 가지 기준 데이터셋인 TACRED와 CoNLL03에 대한 광범위한 실험을 통해 제안하는 프레임워크의 효과성을 입증하였다. 본 연구의 코드는 향후 연구를 위해 커뮤니티에 공개한다.