用于回归的具有平滑自适应激活函数的ConvNets

在神经网络（Neural Networks, NN）中，自适应激活函数（Adaptive Activation Functions, AAF）的参数用于调控激活函数的形状，这些参数与网络中的其他参数一同进行训练。已有研究表明，AAF能够显著提升卷积神经网络（Convolutional Neural Networks, CNN）在多种分类任务中的性能。本文将AAF应用于CNN的回归任务中。我们提出，将AAF部署于神经网络的倒数第二层（回归层），可有效降低回归型神经网络的偏差。然而，直接使用现有的AAF方法可能导致过拟合问题。为解决这一问题，本文提出一种平滑自适应激活函数（Smooth Adaptive Activation Function, SAAF），其形式为分段多项式，具备逼近任意连续函数至任意精度的能力，同时在模型参数有界的情况下，保持有界的利普希茨常数（Lipschitz constant）。这一特性使得采用SAAF的神经网络可通过简单地对模型参数施加正则化，即可有效避免过拟合。我们在多个年龄估计与姿态估计数据集上对基于SAAF的CNN进行了实验验证，结果表明该方法取得了当前最优的性能表现。