用于多任务学习的模式-结构扩散

受“模式结构在任务内部频繁重复出现，并且在跨任务之间也具有相似性”这一观察启发，我们提出了一种模式结构扩散（Pattern-Structure Diffusion, PSD）框架，用于在任务层级空间中挖掘并传播任务特异性及跨任务的模式结构，以实现深度估计、分割与表面法向预测的联合建模。为表征局部模式结构，我们将这些结构建模为小规模图元（graphlets），并通过两种不同方式实现其传播：任务内扩散（intra-task PSD）与任务间扩散（inter-task PSD）。在任务内扩散中，为克服模式结构局部性的限制，我们采用高阶递归邻域聚合机制，通过乘性方式逐步扩展传播范围，从而实现长距离模式在任务内部的有效传播。在任务间扩散中，基于配对模式结构在空间位置上的匹配程度，将对应于相同空间位置的跨任务结构相互迁移至当前任务内部。最终，任务内与任务间的模式结构在任务层级模式中实现联合扩散，并被整合进一个端到端的PSD网络中，以提升多任务学习的整体性能。在两个广泛使用的基准数据集上的大量实验表明，所提出的PSD方法具有更强的表达能力，能够取得当前最优或具有竞争力的性能表现。