{Michael Carbin Jonathan Frankle}

Résumé

Les techniques de taille des réseaux de neurones permettent de réduire le nombre de paramètres des réseaux entraînés de plus de 90 %, ce qui diminue les besoins en stockage et améliore les performances computationnelles du débogage, sans compromettre l’exactitude. Toutefois, l’expérience actuelle montre que les architectures creuses produites par la taille sont difficiles à entraîner à partir de zéro, ce qui pourrait toutefois améliorer les performances d’entraînement. Nous constatons qu’une technique standard de taille révèle naturellement des sous-réseaux dont les initialisations les rendent capables d’être entraînés efficacement. À partir de ces résultats, nous formulons l’hypothèse du « ticket gagnant » : les réseaux feed-forward denses et initialement aléatoires contiennent des sous-réseaux (« tickets gagnants ») qui, lorsqu’ils sont entraînés isolément, atteignent une précision de test comparable à celle du réseau original en un nombre d’itérations similaire. Les tickets gagnants que nous identifions ont remporté la loterie d’initialisation : leurs connexions possèdent des poids initiaux qui rendent l’entraînement particulièrement efficace. Nous présentons un algorithme permettant d’identifier les tickets gagnants, ainsi qu’une série d’expériences qui soutiennent l’hypothèse du ticket gagnant et l’importance de ces initialisations fortuites. Nous trouvons systématiquement des tickets gagnants dont la taille est inférieure à 10 à 20 % de plusieurs architectures fully-connected et convolutionnelles feed-forward sur les jeux de données MNIST et CIFAR10. Au-delà de cette taille, les tickets gagnants que nous identifions s’entraînent plus rapidement que le réseau original et atteignent une précision de test élevée.