HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verbesserung der neuronalen Architektursuche durch Kombination eines Firefly-Algorithmus mit einer trainingsfreien Bewertung

{Pierre De Loor Marlène Gilles Alexis Nédélec Nassim Mokhtari}

Abstract

Neural Architecture Search (NAS)-Algorithmen werden eingesetzt, um den Entwurf tiefer neuronaler Netze zu automatisieren. Die Suche nach der optimalen Architektur für eine gegebene Datensatz kann zeitaufwendig sein, da diese Algorithmen eine große Anzahl von Netzwerken erkunden und anhand ihrer Leistung bewerten müssen, um das geeignetste auszuwählen. In dieser Arbeit stellen wir eine neuartige Metrik vor, die den Intra-Cluster-Distanz-(ICD)-Score nutzt, um die Fähigkeit eines untrainierten Modells zu bewerten, Daten voneinander zu unterscheiden, um so dessen Qualität zu approximieren. Außerdem verwenden wir eine verbesserte Version des FireFly-Algorithmus, die robuster gegenüber dem Problem lokaler Optima ist als der Basis-FireFly-Algorithmus, als Suchtechnik, um das am besten geeignete neuronale Netzwerkmodell für einen spezifischen Datensatz zu finden. Experimentelle Ergebnisse auf verschiedenen NAS-Benchmarks zeigen, dass unsere Metrik sowohl zur Bewertung von CNNs als auch von RNNs gültig ist, und dass unser vorgeschlagener FireFly-Algorithmus die Ergebnisse der state-of-the-art training-free Methoden verbessern kann.

Benchmarks

BenchmarkMethodikMetriken
neural-architecture-search-on-nas-bench-101Improved FireFly Algorithme
Accuracy (%): 94.03%
neural-architecture-search-on-nas-bench-101FireFly
Accuracy (%): 93%
neural-architecture-search-on-nas-bench-201-3Improved FireFly Algorithme
Accuracy (%): 93.58%
neural-architecture-search-on-nas-bench-201-3FireFly
Accuracy (%): 92.90%

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserung der neuronalen Architektursuche durch Kombination eines Firefly-Algorithmus mit einer trainingsfreien Bewertung | Forschungsarbeiten | HyperAI