知識グラフ上のマルチモーダル類推推論

類推的推論は人間の認知において基盤的な役割を果たし、さまざまな分野において重要な位置を占めている。しかし、これまでの研究は主に単モーダルな類推的推論に注目しており、構造的な知識を活用する点を無視してきた。特に認知心理学の研究は、複数のモーダルな情報源から得られる知識が、単一モーダルな情報源よりも強力な認知的転移をもたらすことを示している。このような背景から、本研究では知識グラフ上で複数モーダルな類推的推論を行う新しいタスクを導入する。このタスクは、背景知識を活用した複数モーダルな推論能力を要する。具体的には、Multimodal Analogical Reasoning Dataset（MARS）と複数モーダル知識グラフMarKGを構築した。また、複数モーダル知識グラフ埋め込みおよび事前学習済みTransformerベースラインを用いた評価を通じて、提案タスクが抱える潜在的な課題を示した。さらに、構造マッピング理論（structure mapping theory）をヒントに、モデルに依存しない新しい複数モーダル類推的推論フレームワーク「MarT（Multimodal analogical reasoning framework with Transformer）」を提案した。本フレームワークは、優れた性能を達成することが可能である。コードとデータセットは、https://github.com/zjunlp/MKG_Analogy にて公開されている。