HyperAIHyperAI

Command Palette

Search for a command to run...

LayerNAS: Neural Architecture Search mit polynomialer Komplexität

Yicheng Fan Dana Alon Jingyue Shen Daiyi Peng Keshav Kumar Yun Long Xin Wang Fotis Iliopoulos Da-Cheng Juan Erik Vee

Zusammenfassung

Neural Architecture Search (NAS) ist zu einer etablierten Methode zur Entdeckung effektiver Modellarchitekturen geworden, insbesondere für spezifische Zielhardware. Daher sind NAS-Verfahren, die optimale Architekturen unter bestimmten Einschränkungen finden, von entscheidender Bedeutung. In unserer Arbeit stellen wir LayerNAS vor, um die Herausforderung des multiobjektiven NAS zu bewältigen, indem wir das Problem in ein kombinatorisches Optimierungsproblem transformieren, wodurch die Suchkomplexität effektiv auf polynomial beschränkt wird.Für eine Modellarchitektur mit LLL Schichten führen wir eine schichtweise Suche für jede Schicht durch, wobei jeweils aus einer Menge von Suchoptionen S\mathbb{S}S ausgewählt wird. LayerNAS gruppiert Modellkandidaten basierend auf einer Zielgröße, beispielsweise Modellgröße oder Latenz, und sucht dann nach der optimalen Architektur unter Berücksichtigung einer anderen Zielgröße. Dadurch wird die Kosten- und Belohnungselemente der Suche entkoppelt. Dieser Ansatz begrenzt die Suchkomplexität auf O(HSL)O(H \cdot |\mathbb{S}| \cdot L)O(HSL), wobei HHH eine in LayerNAS festgelegte Konstante ist.Unsere Experimente zeigen, dass LayerNAS in der Lage ist, konsistent überlegene Modelle in einer Vielzahl unterschiedlicher Suchräume zu entdecken, im Vergleich zu starken Baselines, darunter Suchräume, die aus NATS-Bench, MobileNetV2 und MobileNetV3 abgeleitet wurden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
LayerNAS: Neural Architecture Search mit polynomialer Komplexität | Paper | HyperAI