Messung und Linderung des Over-smoothing-Problems für Graph Neural Networks aus der topologischen Perspektive

Graph Neural Networks (GNNs) haben eine vielversprechende Leistung auf einer Vielzahl graphbasierter Aufgaben erzielt. Trotz ihres Erfolgs weist die GNNs eine gravierende Einschränkung auf: das Over-Smoothing-Problem (ununterscheidbare Repräsentationen von Knoten unterschiedlicher Klassen). In dieser Arbeit präsentieren wir eine systematische und quantitative Studie zum Over-Smoothing-Problem von GNNs. Zunächst führen wir zwei quantitative Metriken ein, MAD und MADGap, um jeweils die Glättung und das Over-Smoothing der Knotenrepräsentationen zu messen. Anschließend bestätigen wir, dass Glättung eine inhärente Eigenschaft von GNNs ist und der entscheidende Faktor für Over-Smoothing die geringe Informations-gegen-Rausch-Relation (Signal-to-Noise-Ratio) der von den Knoten empfangenen Nachrichten ist, die teilweise durch die Graphtopologie bestimmt wird. Schließlich schlagen wir zwei Methoden zur Linderung des Over-Smoothing-Problems aus topologischer Sicht vor: (1) MADReg, welches einen auf MADGap basierenden Regularisierer in das Trainingsziel integriert; und (2) AdaGraph, das die Graphtopologie auf Basis der Modellvorhersagen optimiert. Umfangreiche Experimente an sieben weit verbreiteten Graph-Datensätzen mit zehn typischen GNN-Modellen zeigen, dass die beiden vorgeschlagenen Methoden effektiv sind, um das Over-Smoothing-Problem zu mildern und somit die Leistung verschiedener GNN-Modelle zu verbessern.