Ein Einheitliches algebraisches Perspektive auf Lipschitz-Neuronale Netze

Wichtige Forschungsbemühungen haben sich auf die Gestaltung und Schulung von neuronalen Netzen mit einer kontrollierten Lipschitz-Konstante konzentriert. Das Ziel ist es, die Robustheit gegenüber adversäre Angriffe zu erhöhen und teilweise sogar zu garantieren. Neuere vielversprechende Techniken schöpfen Inspiration aus verschiedenen Bereichen, um 1-Lipschitz-neuronale Netze zu entwerfen. Einige Beispiele sind: Konvexe Potenzialschichten stammen aus der Diskretisierung kontinuierlicher dynamischer Systeme, während die Methode "Fast-Orthogonale Schicht" (Almost-Orthogonal-Layer) eine spezielle Vorgehensweise für die Matrixskalierung vorschlägt.Es ist heute wichtig, die jüngsten und vielversprechenden Beiträge in diesem Bereich unter einem gemeinsamen theoretischen Aspekt zu betrachten, um verbesserte Schichten besser gestalten zu können. Dieses Papier führt einen neuen algebraischen Ansatz ein, der verschiedene Arten von 1-Lipschitz-neuronalen Netzen vereint, darunter die bereits genannten sowie Methoden basierend auf Orthogonalität und spektralen Verfahren. Interessanterweise zeigen wir, dass viele bestehende Techniken durch das Finden analytischer Lösungen für eine gemeinsame semidefinite Programmierung (SDP) Bedingung abgeleitet und verallgemeinert werden können. Wir beweisen auch, dass AOL die skalierten Gewichte in einer bestimmten mathematischen Weise den orthogonalen Matrizen annähert.Darüber hinaus führt unsere algebraische Bedingung in Kombination mit dem Satz von Gershgorin über Kreise direkt zu neuen und vielfältigen Parametrisierungen für 1-Lipschitz-Schichten in neuronalen Netzen. Unser Ansatz, als SDP-basierte Lipschitz-Schichten (SLL) bezeichnet, ermöglicht es uns, nicht-triviale aber effiziente Verallgemeinerungen von konvexen Potenzialschichten zu entwickeln. Schließlich zeigen umfassende Experimente zur Bildklassifizierung, dass SLLs bei zertifizierter robusten Genauigkeit frühere Ansätze übertreffen. Der Quellcode ist unter https://github.com/araujoalexandre/Lipschitz-SLL-Networks verfügbar.