SenseBERT: BERT에 의미를 부여하다

대규모 비라벨 코퍼스에서 학습할 수 있는 능력은 신경 언어 모델이 자연어 이해의 경계를 확장하는 데 기여하였습니다. 그러나, 현재의 자기 감독 기술들은 기본적인 의미 내용을 대신하는 단어 형태 수준에서 작동합니다. 본 논문에서는 단어 의미 수준에서 직접 약한 감독(weak-supervision)을 활용하는 방법을 제안합니다. 우리의 모델인 SenseBERT는 마스크된 단어뿐만 아니라 그들의 WordNet 상위감각(supersenses)도 예측하도록 사전 훈련되었습니다. 따라서, 인간의 주석 없이 어휘-의미 수준의 언어 모델을 얻을 수 있습니다. SenseBERT는 실험 결과를 통해 SemEval 단어 의미 구분 작업에서 그리고 문맥 내 단어 작업에서 최고 수준의 성능을 달성함으로써,显着提高了词汇理解能力。 为了使最后一句更符合韩语的表达习惯，我将对其进行微调：SenseBERT는 실험 결과를 통해 SemEval 단어 의미 구분 작업에서 그리고 문맥 내 단어 작업에서 최고 수준의 성능을 달성함으로써, 어휘 이해 능력을 크게 향상시켰습니다.（SenseBERT通过实验在SemEval词义消歧任务中以及在上下文中词的任务中达到最先进水平，显著提高了词汇理解能力。）