摘要
除了局部卷积网络之外，我们进一步探索如何利用多种外部人类知识，赋予网络进行语义级全局推理的能力。与传统上采用独立的图模型（如条件随机场CRF）或约束机制来建模更广泛依赖关系的方法不同，我们提出了一种新型的符号图推理（Symbolic Graph Reasoning, SGR）层。该层在一组符号节点上执行推理，其输出显式地表示先验知识图中每个语义项的不同属性。为与局部卷积操作协同工作，每个SGR层由三个模块构成：a）原始的局部到语义投票模块，通过局部特征对所有符号节点的特征进行投票生成；b）图推理模块，在知识图谱上进行信息传播，以实现全局语义的一致性；c）双重视角的语义到局部映射模块，学习演化后的符号节点与局部表示之间新的关联关系，从而增强局部特征表达。SGR层可灵活插入任意卷积层之间，并可基于不同的先验知识图进行实例化。大量实验表明，引入SGR层显著提升了普通卷积网络在三个语义分割任务和一个图像分类任务上的性能。进一步分析显示，在给定统一知识图的前提下，SGR层能够为具有不同标签集合的领域或数据集学习到共享的符号化表示，充分体现了其卓越的泛化能力。