大規模な知識ベースおよび自然言語における微分可能推論

自然言語で表現された知識および知識ベース（KB）を用いた推論は、人工知能における主要な課題であり、機械読解、対話システム、質問応答などの分野に応用されている。テキストの表現と変換を共同で学習する一般的なニューラルアーキテクチャは、データ効率が極めて低く、推論プロセスの解析も困難である。このような問題を解決するために、エンド・ツー・エンドで微分可能な推論システムであるニューラル定理証明（NTP）が提案されているが、小規模な記号的KBにしか適用できないという制限がある。本論文では、まずNTPの計算複雑性およびスケーラビリティの限界を克服する拡張として、グリーディNTP（GNTP）を提案する。この手法は、推論時に計算グラフを動的に構築し、最も有望な証明経路のみを含むことで、数桁の効率向上を実現し、実世界のデータセットへの適用を可能にする。さらに、知識ベースと自然言語の記述を統合的に推論するための新規アプローチを提案する。このアプローチでは、論理的事実と自然言語文を共通の埋め込み空間に埋め込むことで、両者の統合的推論を実現する。実験の結果、GNTPはNTPと同等の性能を、コストを数分の1に抑えて達成し、大規模データセットにおいて競争力のあるリンク予測結果を示すとともに、予測の説明を提供し、解釈可能なモデルの構築を可能にする。ソースコード、データセット、補足資料は、https://github.com/uclnlp/gntp にて公開されている。