Verbesserung der neuronalen Architektursuche durch Kombination eines Firefly-Algorithmus mit einer trainingsfreien Bewertung

Neural Architecture Search (NAS)-Algorithmen werden eingesetzt, um den Entwurf tiefer neuronaler Netze zu automatisieren. Die Suche nach der optimalen Architektur für eine gegebene Datensatz kann zeitaufwendig sein, da diese Algorithmen eine große Anzahl von Netzwerken erkunden und anhand ihrer Leistung bewerten müssen, um das geeignetste auszuwählen. In dieser Arbeit stellen wir eine neuartige Metrik vor, die den Intra-Cluster-Distanz-(ICD)-Score nutzt, um die Fähigkeit eines untrainierten Modells zu bewerten, Daten voneinander zu unterscheiden, um so dessen Qualität zu approximieren. Außerdem verwenden wir eine verbesserte Version des FireFly-Algorithmus, die robuster gegenüber dem Problem lokaler Optima ist als der Basis-FireFly-Algorithmus, als Suchtechnik, um das am besten geeignete neuronale Netzwerkmodell für einen spezifischen Datensatz zu finden. Experimentelle Ergebnisse auf verschiedenen NAS-Benchmarks zeigen, dass unsere Metrik sowohl zur Bewertung von CNNs als auch von RNNs gültig ist, und dass unser vorgeschlagener FireFly-Algorithmus die Ergebnisse der state-of-the-art training-free Methoden verbessern kann.