
摘要
最近的研究表明,在神经网络架构中引入等变性(equivariance)是非常有益的,已有若干研究探讨了网络在群作用下的等变性。然而,由于数字图像和特征图位于离散网格上,相应的等变性保持变换群非常有限。在这项工作中,我们从卷积与偏微分算子(PDOs)之间的联系出发来解决这一问题。理论上,假设输入是平滑的,我们将偏微分算子进行变换,并提出一个对更为广泛的连续群——$n$维欧几里得群——具有等变性的系统。在实现过程中,我们利用偏微分算子的数值方案对系统进行离散化,从而推导出近似等变卷积(PDO-eConvs)。理论上,PDO-eConvs的近似误差为二次阶。这是首次在等变性近似的情况下提供了误差分析。大量的实验结果表明,在旋转MNIST数据集和自然图像分类任务中,PDO-eConvs表现出竞争力的同时参数使用效率更高。特别是与Wide ResNets相比,我们的方法仅使用12.6%的参数就取得了更好的结果。