CATE: Computation-aware Neural Architecture Encoding mit Transformers

Neuere Arbeiten (White et al., 2020a; Yan et al., 2020) zeigen die Bedeutung von Architektur-Encodings im Bereich des Neural Architecture Search (NAS). Diese Encodings kodieren entweder strukturelle oder rechnerische Informationen neuraler Architekturen. Im Vergleich zu strukturbehafteten Encodings mappingen rechnerungsbehaftete Encodings Architekturen mit ähnlichen Genauigkeiten in denselben Raum, was die Leistung des nachfolgenden Architektursuchprozesses verbessert (Zhang et al., 2019; White et al., 2020a). In dieser Arbeit stellen wir eine rechnerungsbehaftete, auf Transformers basierende Encoding-Methode namens CATE vor. Im Gegensatz zu bestehenden rechnerungsbehafteten Encodings, die auf festen Transformationen (z. B. Pfad-Encoding) beruhen, nutzt CATE ein Paarweises Vortraining, um rechnerungsbehaftete Encodings mit Hilfe von Transformers und Cross-Attention zu lernen. Die so gelernten Encodings enthalten dichte und kontextualisierte rechnerische Informationen über neuronale Architekturen. Wir vergleichen CATE mit elf anderen Encodings anhand dreier zentraler, von Encodings abhängiger NAS-Unterprozesse sowohl in kleinen als auch in großen Suchräumen. Unsere Experimente zeigen, dass CATE den nachfolgenden Suchprozess signifikant verbessert, insbesondere in großen Suchräumen. Darüber hinaus belegt das Experiment außerhalb des Trainings-Suchraums die herausragende Generalisierungsfähigkeit von CATE über den ursprünglichen Suchraum hinaus. Unser Code ist unter folgender Adresse verfügbar: https://github.com/MSU-MLSys-Lab/CATE.