AlphaX: eXploration von Neuronalen Architekturen mit Tiefen Neuronalen Netzen und Monte-Carlo-Baumsuche

Die Neural Architecture Search (NAS) hat bei der Automatisierung des Designs von neuronalen Netzen große Erfolge gezeigt. Allerdings erfordern die derzeitigen NAS-Methoden aufgrund der enormen Berechnungsaufwand weitere Untersuchungen zur Verbesserung der Stichprobeneffizienz und des Netzwerkauswertungskostens, um bessere Ergebnisse in kürzerer Zeit zu erzielen. In dieser Arbeit stellen wir einen neuen, skalierbaren NAS-Agenten vor, der auf Monte Carlo Tree Search (MCTS) basiert und den Namen AlphaX trägt, um diese beiden Aspekte anzugehen. AlphaX verbessert die Sucheffizienz durch adaptive Balance zwischen Exploration und Exploitation auf State-Ebene sowie durch eine Meta-Tiefe Neuronale Netzwerk (Meta-DNN) zur Vorhersage von Netzgenauigkeiten, um die Suche in vielversprechende Regionen zu lenken. Um die Kosten für die Netzwerkauswertung zu reduzieren, beschleunigt AlphaX MCTS-Rollouts durch ein verteiltes Design und verringert die Anzahl der Epochen bei der Auswertung eines Netzwerks durch Transfer Learning, das durch die Baumstruktur im MCTS geleitet wird. In 12 GPU-Tagen und mit 1000 Stichproben fand AlphaX eine Architektur, die eine Top-1-Akkuranz von 97,84 % auf CIFAR-10 und 75,5 % auf ImageNet erreicht, was sowohl in Bezug auf Akkuranz als auch Stichprobeneffizienz den aktuellen besten NAS-Methoden überlegen ist. Insbesondere bewerten wir AlphaX auch auf NASBench-101, einem großen NAS-Datensatz; hierbei ist AlphaX dreimal und 2,8-mal stichproben-effizienter als Random Search und Regularized Evolution bei der Suche nach dem globalen Optimum. Schließlich zeigen wir, dass die gesuchte Architektur eine Vielzahl von Vision-Anwendungen verbessert – vom Neural Style Transfer bis hin zur Bildunterschriftenerstellung und Objekterkennung.