LayerNAS: Neural Architecture Search mit polynomialer Komplexität

Neural Architecture Search (NAS) ist zu einer etablierten Methode zur Entdeckung effektiver Modellarchitekturen geworden, insbesondere für spezifische Zielhardware. Daher sind NAS-Verfahren, die optimale Architekturen unter bestimmten Einschränkungen finden, von entscheidender Bedeutung. In unserer Arbeit stellen wir LayerNAS vor, um die Herausforderung des multiobjektiven NAS zu bewältigen, indem wir das Problem in ein kombinatorisches Optimierungsproblem transformieren, wodurch die Suchkomplexität effektiv auf polynomial beschränkt wird.Für eine Modellarchitektur mit $L$ Schichten führen wir eine schichtweise Suche für jede Schicht durch, wobei jeweils aus einer Menge von Suchoptionen $\mathbb{S}$ ausgewählt wird. LayerNAS gruppiert Modellkandidaten basierend auf einer Zielgröße, beispielsweise Modellgröße oder Latenz, und sucht dann nach der optimalen Architektur unter Berücksichtigung einer anderen Zielgröße. Dadurch wird die Kosten- und Belohnungselemente der Suche entkoppelt. Dieser Ansatz begrenzt die Suchkomplexität auf $ O(H \cdot |\mathbb{S}| \cdot L) $, wobei $H$ eine in LayerNAS festgelegte Konstante ist.Unsere Experimente zeigen, dass LayerNAS in der Lage ist, konsistent überlegene Modelle in einer Vielzahl unterschiedlicher Suchräume zu entdecken, im Vergleich zu starken Baselines, darunter Suchräume, die aus NATS-Bench, MobileNetV2 und MobileNetV3 abgeleitet wurden.