Auto-GNN: Neural Architecture Search von Graph Neural Networks

Graph Neural Networks (GNN) wurden erfolgreich für die Verarbeitung graphenstrukturierter Daten eingesetzt. In einer konkreten Anwendungssituation sind oft umfangreiche fachliche Expertise und erhebliche manuelle Versuchsreihen erforderlich, um eine geeignete GNN-Architektur zu identifizieren. Dies liegt daran, dass die Leistungsfähigkeit einer GNN-Architektur erheblich von der Wahl der Graph-Convolution-Komponenten abhängt, wie beispielsweise der Aggregationsfunktion und der versteckten Dimension. Neural Architecture Search (NAS) hat sein Potenzial bei der Entdeckung effektiver tiefer Architekturen für Lernaufgaben im Bereich Bild- und Sprachmodellierung gezeigt. Allerdings können bestehende NAS-Algorithmen nicht direkt auf das GNN-Suchproblem angewendet werden. Erstens unterscheidet sich der Suchraum von GNN von den in bestehenden NAS-Studien betrachteten. Zweitens verändert sich die Fähigkeit zur Repräsentationslernung einer GNN-Architektur bei geringfügigen Änderungen der Architektur deutlich, was die Sucheffizienz traditioneller Suchmethoden beeinträchtigt. Drittens können in NAS weit verbreitete Techniken wie Parameter-Sharing in GNN-Anwendungen instabil werden.Um diese Lücke zu schließen, stellen wir den automatisierten Graph Neural Networks (AGNN)-Framework vor, der darauf abzielt, innerhalb eines vorgegebenen Suchraums eine optimale GNN-Architektur zu finden. Zur gezielten und schrittweisen Validierung von Architekturen wird ein auf Verstärkungslernen basierender Controller eingesetzt. Der AGNN-Framework verfügt über eine neuartige Parameter-Sharing-Strategie, die es homogenen Architekturen ermöglicht, Parameter gemeinsam zu nutzen, basierend auf einer sorgfältig definierten Homogenitätsbedingung. Experimente an realen Benchmark-Datensätzen zeigen, dass die von AGNN identifizierte GNN-Architektur die beste Leistung erzielt, verglichen mit bestehenden handgefertigten Modellen und traditionellen Suchmethoden.