Graph-Diffusion mit mehrfacher Bedingung für die neuronale Architektursuche

Neural Architecture Search (NAS) automatisiert die Gestaltung von neuronalen Netzwerkarchitekturen üblicherweise durch die Exploration eines großen und damit komplexen Architektursuchraums. Um den Fortschritt im Architektursuchprozess voranzutreiben, präsentieren wir einen auf Graphen-Diffusion basierenden NAS-Ansatz, der diskrete bedingte Graph-Diffusionsprozesse nutzt, um hochperformante neuronale Netzwerkarchitekturen zu generieren. Anschließend schlagen wir einen mehrbedingten, klassifikatorfreien Leitungsansatz vor, der auf Graphen-Diffusionsnetzwerken angewendet wird, um gleichzeitig Einschränkungen wie hohe Genauigkeit und geringe Hardware-Latenz zu berücksichtigen. Im Gegensatz zu verwandten Arbeiten ist unsere Methode vollständig differenzierbar und erfordert lediglich eine einzige Modelltrainingsphase. In unseren Evaluierungen zeigen wir vielversprechende Ergebnisse auf sechs Standardbenchmarks, wobei neuartige und einzigartige Architekturen mit einer hohen Geschwindigkeit – weniger als 0,2 Sekunden pro Architektur – erzeugt werden. Zudem belegen wir die Generalisierbarkeit und Effizienz unserer Methode durch Experimente am ImageNet-Datensatz.