초록
최근 연구에서는 위키백과 실체 정보를 활용한 언어 간 정렬 정보가 다국어 사전 학습 언어 모델의 성능을 효과적으로 향상시킬 수 있음을 보여주었습니다. 그러나 기존 방법들은 사전 학습 단계에서만 실체 정보를 활용하고, 하류 작업에서는 명시적으로 실체를 사용하지 않습니다. 본 연구에서는 하류 언어 간 작업에 실체 표현을 활용하는 효과를 탐구합니다. 우리는 24개 언어로 구성된 다국어 언어 모델을 실체 표현으로 학습시키고, 다양한 언어 간 전이 작업에서 이 모델이 단순 단어 기반의 사전 학습 모델보다 일관되게 우수한 성능을 보임을 입증하였습니다. 또한, 모델을 분석한 결과, 입력에 실체 표현을 통합함으로써 더 많은 언어 독립적인 특징을 추출할 수 있다는 것이 주요 발견점입니다. 우리는 mLAMA 데이터셋을 사용하여 다국어 클로즈 프롬프트 작업에서도 모델의 성능을 평가하였으며, 단순 단어 표현만 사용하는 것보다 실체 기반 프롬프트가 올바른 사실적 지식을 유도할 가능성이 더 높음을 보였습니다. 우리의 소스 코드와 사전 학습된 모델은 https://github.com/studio-ousia/luke 에서 확인할 수 있습니다.