使用多项式神经网络增强深度分类器

深度神经网络已成为图像与音频识别等分类任务取得成功的关键驱动力。近年来，多种新颖的网络架构在各类任务中取得了令人瞩目的性能与良好的泛化能力，然而这些架构在设计思路上看似彼此独立、缺乏关联。本文提出一个统一的框架，对深度分类模型进行系统性研究。具体而言，我们将当前领先架构（如残差网络与非局部网络）统一表达为输入数据的高阶多项式形式。该框架不仅揭示了各类模型内在的归纳偏置（inductive biases），还基于其多项式特性，自然地支持模型的扩展与改进。我们在标准的图像与音频分类基准上验证了所提模型的有效性，结果表明，新模型在提升性能的同时，也具备更强的模型压缩能力。此外，基于该分类体系所支持的模型扩展，在数据稀缺及长尾分布等挑战性场景下展现出显著优势。我们期望这一统一的分类体系能够为现有领域特定架构之间建立新的联系。源代码已公开，可访问：\url{https://github.com/grigorisg9gr/polynomials-for-augmenting-NNs}。