要約
大規模言語モデル（LM）は、事前学習コーパスから多数の関係的知識を捉える能力を有することが示されている。これらのモデルは、LAMAベンチマークで示されたように、クローズ形式のプロンプトを用いることで、その事実知識を調査可能である。しかし、最近の研究では、これらの結果が良好であるのは、モデルが訓練データから事実を記憶しているか、あるいは合理的な推測を行う能力に優れているためであることが明らかになった。本研究では、LMにおける関係的知識を探査するための新しいWikidataベースのベンチマークデータセット「KAMEL」を提示する。従来のデータセットと異なり、KAMELはより広範な知識領域をカバーしており、単トークンおよび複数トークンのエンティティを対象とした探査を可能にするとともに、数値型の値を含む事実を含んでいる。さらに、代替的なエンティティラベルを備え、高基数の関係に対しても対応しているため、評価プロセスの精度が向上している。マスクされた言語モデルでの評価ではなく、最近の因果的LM（causal LM）を少データ設定（few-shot setting）で評価した結果を提示する。その結果、新しいモデルはLAMAでは非常に良好な性能を示し、F1スコアで52.90％を達成する一方で、KAMELではわずか17.62％にとどまることが明らかになった。分析の結果、大規模言語モデルであっても、通常知識グラフに格納される多様な関係的知識をすべて記憶しているとは言いがたいことが示された。