SGAS: Sequenzielle greedy Architektursuche

Die Architekturdesign-Entwicklung ist zu einem entscheidenden Bestandteil erfolgreicher Tiefe Lernverfahren geworden. Die jüngsten Fortschritte im Bereich des automatischen neuronalen Architektursuchens (Neural Architecture Search, NAS) zeigen großes Potenzial. Allerdings neigen die entdeckten Architekturen oft dazu, in der endgültigen Bewertung schlecht zu generalisieren. Architekturen, die während des Suchprozesses eine höhere Validierungs-Genauigkeit aufweisen, können im Evaluierungsstadium schlechter abschneiden. Um dieses verbreitete Problem zu mildern, stellen wir Sequential Greedy Architecture Search (SGAS) vor – eine effiziente Methode für das neuronale Architektursuchen. Durch die Aufteilung des Suchprozesses in Teilprobleme wählt SGAS kandidierende Operationen auf gierige Weise aus und entfernt ungeeignete. Wir wenden SGAS an, um Architekturen für Convolutional Neural Networks (CNN) und Graph Convolutional Networks (GCN) zu finden. Umfangreiche Experimente zeigen, dass SGAS in der Lage ist, architektonisch state-of-the-art-Modelle für Aufgaben wie Bildklassifikation, Punktclouddklassifikation sowie Knotenklassifikation in Protein-Protein-Interaktionsgraphen mit minimalen Rechenkosten zu identifizieren. Weitere Informationen zu SGAS finden Sie unter https://www.deepgcns.org/auto/sgas.