Lipschitz神经网络的统一代数视角

重要的研究工作集中在设计和训练具有受控Lipschitz常数的神经网络上。其目标是提高并有时保证对对抗攻击的鲁棒性。近期一些有前景的技术从不同的背景中汲取灵感，设计了1-Lipschitz神经网络，例如：凸势层（Convex Potential Layers）源自连续动力系统的离散化；几乎正交层（Almost-Orthogonal-Layer, AOL）提出了一种专门用于矩阵重缩放的方法。然而，目前重要的是在共同的理论框架下考虑这些领域的最新和有前景的贡献，以便更好地设计新的和改进的层。本文引入了一种新颖的代数视角，统一了各种类型的1-Lipschitz神经网络，包括前述方法以及基于正交性和谱方法的技术。有趣的是，我们展示了许多现有技术可以通过求解一个共同的半定规划（Semidefinite Programming, SDP）条件来推导和泛化。我们还证明了AOL以某种数学方式将缩放后的权重偏向于接近正交矩阵集合的方向。此外，我们的代数条件结合Gershgorin圆盘定理，可以方便地引出新的多样化的1-Lipschitz网络层参数化方法。我们提出的方法称为基于SDP的Lipschitz层（SDP-based Lipschitz Layers, SLL），允许我们设计非平凡且高效的凸势层泛化方法。最后，图像分类实验全面验证了SLL在认证鲁棒准确性方面优于先前的方法。代码可在以下地址获取：https://github.com/araujoalexandre/Lipschitz-SLL-Networks。