Lipschitz 신경망의 통합된 대수적 관점

중요한 연구 노력은 제어된 리프시츠 상수를 가진 신경망의 설계와 훈련에 집중되어 왔습니다. 이 목표는 적대적 공격에 대한 견고성을 증가시키거나 때로는 보장하는 것입니다. 최근 유망한 기술들은 다양한 배경에서 영감을 받아 1-리프시츠 신경망을 설계하는데 사용되었습니다. 예를 들어, 볼록 잠재력 계층은 연속 동역학 시스템의 이산화에서 파생되었으며, 거의 직교 계층(Almost-Orthogonal-Layer)은 행렬 재스케일링을 위한 맞춤형 방법을 제안합니다.그러나 오늘날에는 이러한 분야에서 최근의 유망한 기여들을 공통의 이론적 관점 하에 고려하여 새로운 개선된 계층을 더 잘 설계하는 것이 중요해졌습니다. 본 논문에서는 앞서 언급된 것들을 포함하여 직교성과 스펙트럼 방법에 기반한 다양한 유형의 1-리프시츠 신경망을 통합하는 새로운 대수학적 관점을 소개합니다. 흥미롭게도, 우리는 많은 기존 기술들이 공통의 반정부호 프로그래밍(SDP) 조건의 해석적 해를 찾음으로써 도출되고 일반화될 수 있음을 보여줍니다. 또한, 우리는 AOL이 특정 수학적 방식으로 직교 행렬 집합에 가까운 스케일링된 가중치로 편향됨을 증명하였습니다.또한, 우리의 대수학적 조건은 게르쇼킨 원 정리와 결합하여 1-리프시츠 네트워크 계층에 대한 새로운 그리고 다양화된 매개변수화를 쉽게 제공합니다. 우리의 접근법인 SDP 기반 리프시츠 계층(SLL)은 복잡하지 않으면서도 효율적인 볼록 잠재력 계층의 일반화를 가능하게 합니다. 마지막으로, 이미지 분류에 대한 포괄적인 실험 세트는 SLL이 인증된 견고성 정확도에서 이전 접근법보다 우수함을 보여주었습니다. 코드는 https://github.com/araujoalexandre/Lipschitz-SLL-Networks 에서 확인할 수 있습니다.