深度多项式神经网络

深度卷积神经网络（Deep Convolutional Neural Networks, DCNNs）目前已成为计算机视觉与机器学习领域中生成式学习和判别式学习的首选方法。DCNNs的成功得益于其构建模块的精心设计，例如残差块（residual blocks）、修正线性单元（rectifiers）以及复杂的归一化方案等。本文提出了一类新型函数逼近器——Π-Net，其基于多项式展开。Π-Net是一种多项式神经网络，其输出为输入的高阶多项式。网络中的未知参数自然地以高阶张量形式表示，并通过具有共享因子的集体张量分解方法进行估计。我们引入了三种张量分解方式，显著减少了模型参数数量，并展示了如何通过分层神经网络高效实现这些分解。实验结果表明，Π-Net具有极强的表达能力，在大量任务与信号类型（包括图像、图结构数据和音频）中，即使不使用非线性激活函数也能取得良好性能。当与激活函数结合使用时，Π-Net在三个具有挑战性的任务中均达到了当前最优水平，分别为图像生成、人脸验证以及三维网格表示学习。相关源代码已公开，可访问：\url{https://github.com/grigorisg9gr/polynomial_nets}。