Analyse des topologies de réseaux neuronaux : une approche théorique des jeux

Les Réseaux Neuronaux Artificiels ont montré un succès impressionnant dans des cas d'application très variés. Le choix d'une architecture de réseau appropriée est une décision critique pour le succès du réseau, généralement effectuée de manière manuelle. En tant que stratégie directe, des architectures larges, principalement entièrement connectées, sont sélectionnées, en s'appuyant sur une bonne stratégie d'optimisation pour trouver les poids appropriés tout en évitant le surapprentissage. Cependant, de grandes parties du réseau final sont redondantes. Dans le meilleur des cas, de grandes parties du réseau deviennent simplement irrélevantes pour l'inférence ultérieure. Dans le pire des cas, les architectures hautement paramétriques entravent l'optimisation adéquate et permettent la création facile d'exemples adverses trompant le réseau. Un premier pas vers l'élimination des parties architecturales irrélevantes consiste à identifier ces parties, ce qui nécessite de mesurer la contribution des composants individuels tels que les neurones. Dans des travaux antérieurs, des heuristiques basées sur la distribution des poids d'un neurone comme mesure de contribution ont montré certains succès, mais n'offrent pas une compréhension théorique adéquate. Par conséquent, dans notre travail, nous examinons des mesures issues de la théorie des jeux, notamment la valeur de Shapley (SV), afin de séparer les parties pertinentes des parties non pertinentes d'un réseau neuronal artificiel. Nous commençons par concevoir un jeu coopératif pour un réseau neuronal artificiel, où les neurones forment des coalitions et les contributions moyennes des neurones aux coalitions conduisent à la valeur de Shapley. Pour mesurer la qualité avec laquelle la valeur de Shapley évalue la contribution des neurones individuels, nous supprimons les neurones à faible contribution et mesurons leur impact sur les performances du réseau. Nos expériences montrent que la valeur de Shapley surpassent d'autres heuristiques pour mesurer la contribution des neurones.