15日前
常識質問応答のためのコンテキスト統合型知識グラフ
Yichong Xu, Chenguang Zhu, Ruochen Xu, Yang Liu, Michael Zeng, Xuedong Huang

要約
常識的質問応答(QA)は、モデルが常識的知識および事実知識を把握し、世界の出来事に関する質問に答える能力を要する。これまでの多くの手法では、言語モデルと知識グラフ(KG)を連携させることで対応してきた。しかし、KGには豊富な構造的情報が含まれる一方で、概念に関するより精確な理解を可能にする文脈情報は欠如している。このため、知識グラフを言語モデルに統合する際には、特にラベル付きデータが不足している状況下で、情報のギャップが生じる。そこで本研究では、外部のエンティティ記述を活用し、知識理解にための文脈情報を補完することを提案する。具体的には、Wiktionaryから関連概念の記述を検索し、それらを事前学習済み言語モデルの追加入力として提供する。このアプローチにより、CommonsenseQAデータセットにおいて最先端の性能を達成し、OpenBookQAでは生成型モデルを除く非生成型モデルの中で最高の結果を記録した。