Logiformer：解釈可能な論理推論のための二本枝グラフTransformerネットワーク

機械読解は、モデルのテキスト理解能力の可能性を探る分野として広く注目を集めている。さらに機械に推論能力を付与するため、論理的推論という課題が提起されている。これまでの論理的推論に関する研究では、さまざまな視点から論理的単位を抽出する戦略が提案されてきた。しかし、論理的単位間の長距離依存関係をモデル化するという課題は依然として残っている。また、テキストの論理構造を解明し、離散的な論理情報を連続的なテキスト埋め込みに統合するという要求も高い。上記の課題に対処するため、本研究では、テキストの論理的推論を実現するエンド・ツー・エンドモデル「Logiformer」を提案する。本モデルは、二本のブランチからなるグラフ変換器ネットワークを用いる。まず、テキストを異なる抽出戦略により二つの論理的単位の集合に分割し、それぞれ論理グラフと構文グラフを構築する。論理ブランチでは論理グラフが因果関係をモデル化し、構文ブランチでは構文グラフが共起関係を捉える。次に、長距離依存関係をモデル化するために、各グラフからのノードシーケンスを完全結合型グラフ変換器構造に投入する。二つの隣接行列は、グラフ変換器層におけるアテンションバイアスとして扱われ、離散的な論理構造を連続的なテキスト埋め込み空間にマッピングする。さらに、回答予測の前段階として、動的ゲート機構と質問に依存する自己注意モジュールを導入し、特徴量を更新する。本モデルの推論プロセスは、人間の認知と整合性を持つ論理的単位を用いることで、解釈可能性を提供する。実験結果から、本モデルが二つの論理的推論ベンチマークにおいて、最先端の単一モデルを上回る優れた性能を発揮することが示された。