2달 전
BERT에서 간단한 신경망으로 작업 특异性 지식을 추출하기
Raphael Tang; Yao Lu; Linqing Liu; Lili Mou; Olga Vechtomova; Jimmy Lin

초록
자연어 처리 문헌에서 신경망은 점점 더 깊고 복잡해지고 있습니다. 이 추세의 최근 대표적인 예는 BERT, ELMo, GPT를 포함하는 심층 언어 표현 모델입니다. 이러한 발전으로 인해 이전 세대의 얕은 신경망이 언어 이해에 대해solete(solete)하다는 인식이 확산되었습니다. 그러나 본 논문에서는 구조 변경, 외부 학습 데이터, 또는 추가 입력 특징 없이도 기본적이고 경량화된 신경망을 여전히 경쟁력 있게 만들 수 있음을 보여줍니다. 우리는 BERT라는 최신 언어 표현 모델에서 지식을 단일 층 BiLSTM 및 문장 쌍 작업을 위한 그의 시아메즈(Siamese) 대응체로 전달하는 방법을 제안합니다. 여러 데이터셋에서의 동의어 표현, 자연어 추론, 감성 분류 작업에서 우리는 ELMo와 유사한 결과를 달성하면서 약 100배 적은 매개변수와 15배 짧은 추론 시간을 사용하였습니다.