HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche aléatoire et reproductibilité pour la recherche d'architecture neuronale

LIAM LI AMEET TALWALKAR

Résumé

La recherche de l'architecture neuronale (Neural Architecture Search, NAS) est une direction de recherche prometteuse qui a le potentiel de remplacer les réseaux conçus par des experts par des architectures apprises et spécifiques à la tâche. Dans ce travail, afin d'établir un cadre empirique solide dans ce domaine, nous proposons de nouvelles lignes de base pour le NAS basées sur les observations suivantes : (i) le NAS est un problème d'optimisation spécifique des hyperparamètres ; et (ii) la recherche aléatoire est une méthode de référence compétitive pour l'optimisation des hyperparamètres. En nous appuyant sur ces observations, nous évaluons à la fois la recherche aléatoire avec arrêt précoce et un nouvel algorithme de recherche aléatoire avec partage des poids sur deux benchmarks standards du NAS---PTB et CIFAR-10. Nos résultats montrent que la recherche aléatoire avec arrêt précoce est une ligne de base compétitive pour le NAS, par exemple, elle performe au moins aussi bien que ENAS, une méthode de pointe en NAS, sur les deux benchmarks. De plus, la recherche aléatoire avec partage des poids surpassent la recherche aléatoire avec arrêt précoce, atteignant un résultat d'état de l'art en NAS sur PTB et un résultat très compétitif sur CIFAR-10. Enfin, nous explorons les problèmes de reproductibilité existants des résultats publiés en NAS. Nous notons le manque de matériel source nécessaire pour reproduire exactement ces résultats et discutons davantage de la robustesse des résultats publiés compte tenu des diverses sources de variabilité dans les configurations expérimentales du NAS. À cet égard, nous fournissons toutes les informations (code, graines aléatoires, documentation) nécessaires pour reproduire exactement nos résultats et rapportons nos résultats de recherche aléatoire avec partage des poids pour chaque benchmark sur plusieurs exécutions.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp