2 个月前

利用冗余性:李群上的可分离组卷积网络

David M. Knigge; David W. Romero; Erik J. Bekkers
利用冗余性:李群上的可分离组卷积网络
摘要

群卷积神经网络(G-CNNs)已被证明通过引入几何归纳偏置可以提高参数效率和模型准确性。在这项工作中,我们研究了常规G-CNNs学习到的表示的性质,并发现群卷积核中存在显著的参数冗余。这一发现激发了我们进一步通过在子群之间共享卷积核来实现权重绑定的想法。为此,我们引入了在子群和通道维度上可分离的卷积核。为了获得对任意仿射李群的等变性,我们提供了一种连续参数化的可分离卷积核方法。我们在多个视觉数据集上评估了我们的方法,并展示了我们的权重共享策略不仅提高了性能,还提升了计算效率。在许多情况下,可分离G-CNNs的表现优于其不可分离的同类模型,而训练时间仅为其一小部分。此外,由于计算效率的提升,我们能够实现对$\mathrm{Sim(2)}$群等变的G-CNNs;该群包括缩放、旋转和平移操作。$\mathrm{Sim(2)}$等变性在所有考虑的任务中进一步提升了性能。