
要約
局所的畳み込みネットワークを超えて、我々は外部の人的知識を活用してネットワークに意味的なグローバル推論能力を付与する方法を検討した。広範な依存関係をモデル化するための別個のグラフィカルモデル(例:CRF)や制約を用いるのではなく、事前に定義された知識グラフにおいて各意味的要素の異なる特性を明示的に表現するシンボリックノード群に対して推論を行う新しい「シンボリックグラフ推論(Symbolic Graph Reasoning: SGR)」層を提案する。局所的畳み込みと連携させるために、各SGRは以下の3つのモジュールから構成される:a) 原始的な局所から意味への投票モジュール:すべてのシンボリックノードの特徴量は局所表現からの投票によって生成される;b) グラフ推論モジュール:知識グラフ上で情報を伝播させ、グローバルな意味的整合性を実現する;c) 双対的な意味から局所へのマッピングモジュール:進化したシンボリックノードと局所表現との新たな関連性を学習し、結果として局所特徴量を強化する。SGR層は任意の畳み込み層の間に挿入可能であり、異なる事前知識グラフでインスタンス化可能である。広範な実験の結果、SGRを組み込むことで、3つのセマンティックセグメンテーションタスクおよび1つの画像分類タスクにおいて、従来のConvNetが顕著に性能向上することが示された。さらに詳細な分析から、同一の普遍的知識グラフを用いた場合、ラベルセットが異なるドメインやデータセットに対してもSGR層が共有されるシンボリック表現を学習することが明らかとなり、その優れた汎化能力が裏付けられた。