Lipschitz ニューラルネットワークの統一的な代数的視点

重要な研究努力が制御されたリプシッツ定数を持つニューラルネットワークの設計と学習に注がれています。その目的は、敵対的攻撃に対する堅牢性を向上させ、場合によっては保証することです。最近の有望な技術は、1-リプシッツニューラルネットワークの設計において異なる背景から着想を得ており、いくつか例を挙げると：凸ポテンシャル層は連続的な動的システムの離散化から派生し、Almost-Orthogonal-Layer（AOL）は行列の再スケーリングに特化した手法を提案しています。しかし、今日ではこれらの最近かつ有望な貢献を共通の理論的視点で検討することが重要となっています。これにより、新しい改良された層の設計がより適切に行えるようになるからです。本論文では、正規直交性やスペクトル法に基づく方法も含め、さまざまな種類の1-リプシッツニューラルネットワークを統一する新たな代数学的視点を導入します。興味深いことに、多くの既存技術は共通の半正定値計画問題（SDP）条件の解析解を見つけることで導出され、一般化できることが示されています。さらに、我々はAOLが特定の数学的な方法で直交行列集合に近いスケーリングされた重みへバイアスするということも証明しました。また、我々の代数学的条件とゲルシュゴリン円定理を組み合わせることで、1-リプシッツネットワーク層の新しい多様なパラメータ化が容易に得られます。我々が提案するSDPベースのリプシッツ層（SLL）は、非自明でありながら効率的な凸ポテンシャル層の一般化を可能にします。最後に、画像分類における包括的な実験結果から、SLLが認証済み堅牢精度において従来の手法を上回ることが示されました。コードは以下のURLで公開されています：https://github.com/araujoalexandre/Lipschitz-SLL-Networks。