Minderung von Gradverzerrungen im Message-Passing-Mechanismus durch Nutzung von Gemeinschaftsstrukturen

Diese Studie nutzt Gemeinschaftsstrukturen, um Grad-Bias-Probleme bei Message-Passing (MP)-Verfahren durch lernbare Graph-Verstärkungen und neuartige Graph-Transformers anzugehen. Kürzlich vorgestellte Ansätze basierend auf Verstärkung zeigten, dass MP-neuronale Netzwerke häufig schlechte Leistungen auf Knoten mit niedrigem Grad erbringen, was auf einen Mangel an Nachrichten, die diese Knoten erreichen, zurückzuführen ist und zu einem Grad-Bias führt. Trotz ihres Erfolgs verwenden die meisten Methoden heuristische oder gleichverteilte zufällige Verstärkungen, die nicht differenzierbar sind und nicht zwangsläufig sinnvolle Kanten für die Lernung von Repräsentationen generieren. In diesem Artikel stellen wir Community-aware Graph Transformers (CGT) vor, um gradunabhängige Repräsentationen durch lernbare Verstärkungen und Graph-Transformers zu erlernen, indem innergemeinschaftliche Strukturen ausgenutzt werden. Zunächst entwerfen wir eine lernbare Graph-Verstärkung, um durch Kantenstörung mehr innergemeinschaftliche Kanten zu generieren, die Knoten mit niedrigem Grad verbinden. Zweitens schlagen wir eine verbesserte Selbst-Attention-Mechanismus vor, um die zugrundeliegende Nähe und die Rolle von Knoten innerhalb einer Gemeinschaft zu lernen. Drittens stellen wir eine selbstüberwachte Lernaufgabe vor, die dazu dient, Repräsentationen zu erlernen, die die globale Graphstruktur bewahren und gleichzeitig die Graph-Verstärkungen regularisieren. Umfangreiche Experimente auf verschiedenen Benchmark-Datensätzen zeigen, dass CGT die derzeit besten Baselines übertrifft und die Grad-Bias-Probleme signifikant reduziert. Der Quellcode ist unter https://github.com/NSLab-CUK/Community-aware-Graph-Transformer verfügbar.