Progressive Neural Architecture Search Progressive Suche nach neuronalen Architekturen

Wir schlagen eine neue Methode zur Strukturlernung von Faltungsneuronalen Netzen (CNNs) vor, die effizienter ist als die neuesten Standesmethoden, die auf Verstärkungslernen und evolutionären Algorithmen basieren. Unser Ansatz verwendet eine sequentielle modellbasierte Optimierungsstrategie (SMBO), bei der wir nach Strukturen in aufsteigender Komplexität suchen, während wir gleichzeitig ein Surrogatmodell lernen, um die Suche im Strukturraum zu leiten. Ein direkter Vergleich unter demselben Suchraum zeigt, dass unsere Methode in Bezug auf die Anzahl der evaluierten Modelle bis zu 5-mal effizienter ist als die RL-Methode von Zoph et al. (2018) und in Bezug auf den Gesamtcomputaufwand 8-mal schneller. Die durch uns entdeckten Strukturen erreichen den aktuellen Stand der Technik in Klassifikationsgenauigkeit auf CIFAR-10 und ImageNet.