Ein generisches graphenbasiertes neuronales Architektur-Codierungsschema für predictorbasiertes NAS

Diese Arbeit stellt ein neuartiges graphbasiertes neuronales Architektur-Encoding-Schema, kurz GATES (Graph-based neural ArchiTecture Encoding Scheme), vor, um das leistungsorientierte neuronale Architektursuchverfahren (neural architecture search, NAS) zu verbessern. Insbesondere unterscheidet sich GATES von bestehenden graphbasierten Ansätzen dadurch, dass es die Operationen als Transformation der propagierenden Information modelliert, was den tatsächlichen Datenverarbeitungsprozess in neuronalen Architekturen nachahmt. Dadurch bietet GATES eine plausiblere Modellierung neuronaler Architekturen und ermöglicht eine konsistente Kodierung von Architekturen sowohl aus „Operation auf Knoten“- als auch aus „Operation auf Kanten“-Zell-Suchräumen. Experimentelle Ergebnisse auf verschiedenen Suchräumen bestätigen die Wirksamkeit von GATES zur Verbesserung der Vorhersagegenauigkeit des Leistungsprädiktors. Darüber hinaus wird durch die verbesserte Leistungsprognose die Stichprobeneffizienz des leistungsorientierten NAS-Flusses erheblich gesteigert. Der Quellcode ist unter https://github.com/walkerning/aw_nas verfügbar.