Analyse von Neuronalen Netzwerkarchitekturen: Ein spieltheoretischer Ansatz

Künstliche neuronale Netze haben in sehr unterschiedlichen Anwendungsfällen beeindruckenden Erfolg gezeigt. Die Wahl einer geeigneten Netzarchitektur ist eine kritische Entscheidung für den Erfolg eines Netzes und wird in der Regel manuell getroffen. Als eine direkte Strategie werden große, meist vollständig vernetzte Architekturen ausgewählt, wobei man auf eine gute Optimierungsstrategie vertraut, um geeignete Gewichte zu finden und gleichzeitig das Überanpassen zu vermeiden. Allerdings sind große Teile des endgültigen Netzes redundant. Im besten Fall werden große Teile des Netzes für spätere Inferenzprozesse einfach irrelevant. Im schlimmsten Fall behindern hochparametrisierte Architekturen eine ordnungsgemäße Optimierung und ermöglichen die einfache Erstellung von adversären Beispielen, die das Netz täuschen können. Ein erster Schritt zur Entfernung irrelevanter architektonischer Teile besteht darin, diese Teile zu identifizieren, was die Messung des Beitrags einzelner Komponenten wie Neuronen erfordert. In früheren Arbeiten zeigten Heuristiken, die sich auf die Gewichtsverteilung eines Neurons als Beitragsmessung stützen, einige Erfolge, aber sie bieten kein angemessenes theoretisches Verständnis. Daher untersuchen wir in unserer Arbeit spieltheoretische Maße, insbesondere den Shapley-Wert (SV), um relevante von irrelevanten Teilen eines künstlichen neuronalen Netzes zu trennen. Wir beginnen damit, ein koalitionstheoretisches Spiel für ein künstliches neuronales Netz zu entwerfen, bei dem Neuronen Koalitionen bilden und der durchschnittliche Beitrag der Neuronen zu Koalitionen zum Shapley-Wert führt. Um zu messen, wie gut der Shapley-Wert den Beitrag einzelner Neuronen quantifiziert, entfernen wir Neuronen mit geringem Beitrag und evaluieren deren Auswirkungen auf die Netzleistung. In unseren Experimenten zeigen wir, dass der Shapley-Wert andere Heuristiken zur Messung des Neuronbeitrags übertrifft.