초록
대규모 언어모델(LM)은 사전 훈련 코퍼스로부터 방대한 양의 관계 지식을 포착할 수 있음이 입증되었다. 이러한 모델들은 LAMA 벤치마크에서 보여주듯이 클로즈 형식의 프롬프트를 활용하여 사실 지식을 탐색할 수 있다. 그러나 최근 연구들은 이러한 성능이 모델이 훈련 데이터에서 사실을 잘 기억하거나 학습된 추측을 잘 수행하기 때문임을 밝혀냈다. 우리는 언어모델의 관계 지식을 탐색하기 위해 새로운 위키데이터 기반 벤치마크 데이터셋인 KAMEL을 제안한다. 기존 데이터셋과 달리, KAMEL은 더 광범위한 지식 범위를 포함하며, 단일 토큰 및 다중 토큰 엔티티를 모두 탐색할 수 있고, 리터럴 값(문자열 값)을 가진 사실도 포함하고 있다. 또한, 더 정확한 평가를 위해 대체 엔티티 레이블을 포함하고, 높은 카디널리티를 가진 관계를 다루고 있다. 마스크된 언어모델에서의 평가가 아닌, 최근의 인과적 언어모델들에 대해 소량의 예시(few-shot) 설정에서 평가 결과를 제시한다. 분석 결과, 새로운 모델들은 LAMA에서는 높은 성능을 보이며 52.90%의 F1 스코어를 기록하지만, KAMEL에서는 단지 17.62%에 그친다. 이는 대규모 언어모델이 일반적으로 지식 그래프에 저장되는 모든 종류의 관계 지식을 기억할 수 있을 정도로 충분하지 않다는 것을 보여준다.