Zu tieferen Graph Neural Networks

Graph Neural Networks haben in der Forschung zu Graphenrepräsentationen erheblichen Erfolg gezeigt. Graph-Convolutionen führen eine Nachbarschaftsaggregation durch und stellen eine der wichtigsten Operationen im Bereich von Graphen dar. Dennoch berücksichtigen einzelne Schichten dieser Nachbarschaftsaggregationsmethoden nur unmittelbare Nachbarn, wodurch die Leistung abnimmt, wenn tiefere Schichten zur Erweiterung des Empfindungsfelds (receptive field) verwendet werden. In mehreren jüngeren Studien wird dieser Leistungsabfall auf das sogenannte Over-Smoothing-Problem zurückgeführt, das besagt, dass wiederholte Propagation die Knotenrepräsentationen verschiedener Klassen ununterscheidbar macht. In dieser Arbeit untersuchen wir diese Beobachtung systematisch und gewinnen neue Einsichten für tiefere Graph Neural Networks. Zunächst führen wir eine systematische Analyse dieses Problems durch und argumentieren, dass der entscheidende Faktor, der die Leistung erheblich beeinträchtigt, die Verflechtung von Repräsentationstransformation und Propagation in den aktuellen Graph-Convolution-Operationen ist. Durch die Entkoppelung dieser beiden Operationen können tiefere Graph Neural Networks effektiv genutzt werden, um Knotenrepräsentationen aus größeren Empfindungsfeldern zu lernen. Darüber hinaus liefern wir eine theoretische Analyse dieser Beobachtung im Kontext der Konstruktion sehr tiefer Modelle, die eine rigorose und präzise Beschreibung des Over-Smoothing-Problems ermöglicht. Auf Basis unserer theoretischen und empirischen Analysen schlagen wir den Deep Adaptive Graph Neural Network (DAGNN) vor, um adaptiv Informationen aus großen Empfindungsfeldern zu integrieren. Eine Reihe von Experimenten auf Zitations-, Ko-Autor- und Ko-Kauf-Datensätzen bestätigt unsere Analysen und Erkenntnisse und demonstriert die Überlegenheit unseres vorgeschlagenen Ansatzes.