16 天前

概率数值卷积神经网络

Marc Finzi, Roberto Bondesan, Max Welling
概率数值卷积神经网络
摘要

图像和时间序列等连续输入信号常常存在非均匀采样或数据缺失的问题,这对现有的深度学习方法构成了挑战。一致的特征表示必须依赖于输入中未观测区域的值。受概率数值计算(probabilistic numerics)研究的启发,我们提出了一种概率数值卷积神经网络(Probabilistic Numeric Convolutional Neural Networks),该网络将特征表示为高斯过程(Gaussian Processes, GPs),从而对离散化误差提供概率化描述。在此基础上,我们定义卷积层为作用于该高斯过程上的偏微分方程(PDE)的演化过程,随后引入非线性变换。该方法自然地支持在例如旋转群下的可导向等变卷积(steerable equivariant convolutions)。实验结果表明,我们在SuperPixel-MNIST数据集上将误差降低了三倍,相较于此前的最先进方法;同时在医学时间序列数据集PhysioNet2012上也取得了具有竞争力的性能表现。

概率数值卷积神经网络 | 最新论文 | HyperAI超神经