Recherche aléatoire et reproductibilité pour la recherche d'architecture neuronale

La recherche de l'architecture neuronale (Neural Architecture Search, NAS) est une direction de recherche prometteuse qui a le potentiel de remplacer les réseaux conçus par des experts par des architectures apprises et spécifiques à la tâche. Dans ce travail, afin d'établir un cadre empirique solide dans ce domaine, nous proposons de nouvelles lignes de base pour le NAS basées sur les observations suivantes : (i) le NAS est un problème d'optimisation spécifique des hyperparamètres ; et (ii) la recherche aléatoire est une méthode de référence compétitive pour l'optimisation des hyperparamètres. En nous appuyant sur ces observations, nous évaluons à la fois la recherche aléatoire avec arrêt précoce et un nouvel algorithme de recherche aléatoire avec partage des poids sur deux benchmarks standards du NAS---PTB et CIFAR-10. Nos résultats montrent que la recherche aléatoire avec arrêt précoce est une ligne de base compétitive pour le NAS, par exemple, elle performe au moins aussi bien que ENAS, une méthode de pointe en NAS, sur les deux benchmarks. De plus, la recherche aléatoire avec partage des poids surpassent la recherche aléatoire avec arrêt précoce, atteignant un résultat d'état de l'art en NAS sur PTB et un résultat très compétitif sur CIFAR-10. Enfin, nous explorons les problèmes de reproductibilité existants des résultats publiés en NAS. Nous notons le manque de matériel source nécessaire pour reproduire exactement ces résultats et discutons davantage de la robustesse des résultats publiés compte tenu des diverses sources de variabilité dans les configurations expérimentales du NAS. À cet égard, nous fournissons toutes les informations (code, graines aléatoires, documentation) nécessaires pour reproduire exactement nos résultats et rapportons nos résultats de recherche aléatoire avec partage des poids pour chaque benchmark sur plusieurs exécutions.