HyperAIHyperAI

Command Palette

Search for a command to run...

Minderung von Gradverzerrungen im Message-Passing-Mechanismus durch Nutzung von Gemeinschaftsstrukturen

Van Thuy Hoang O-Joun Lee

Zusammenfassung

Diese Studie nutzt Gemeinschaftsstrukturen, um Grad-Bias-Probleme bei Message-Passing (MP)-Verfahren durch lernbare Graph-Verstärkungen und neuartige Graph-Transformers anzugehen. Kürzlich vorgestellte Ansätze basierend auf Verstärkung zeigten, dass MP-neuronale Netzwerke häufig schlechte Leistungen auf Knoten mit niedrigem Grad erbringen, was auf einen Mangel an Nachrichten, die diese Knoten erreichen, zurückzuführen ist und zu einem Grad-Bias führt. Trotz ihres Erfolgs verwenden die meisten Methoden heuristische oder gleichverteilte zufällige Verstärkungen, die nicht differenzierbar sind und nicht zwangsläufig sinnvolle Kanten für die Lernung von Repräsentationen generieren. In diesem Artikel stellen wir Community-aware Graph Transformers (CGT) vor, um gradunabhängige Repräsentationen durch lernbare Verstärkungen und Graph-Transformers zu erlernen, indem innergemeinschaftliche Strukturen ausgenutzt werden. Zunächst entwerfen wir eine lernbare Graph-Verstärkung, um durch Kantenstörung mehr innergemeinschaftliche Kanten zu generieren, die Knoten mit niedrigem Grad verbinden. Zweitens schlagen wir eine verbesserte Selbst-Attention-Mechanismus vor, um die zugrundeliegende Nähe und die Rolle von Knoten innerhalb einer Gemeinschaft zu lernen. Drittens stellen wir eine selbstüberwachte Lernaufgabe vor, die dazu dient, Repräsentationen zu erlernen, die die globale Graphstruktur bewahren und gleichzeitig die Graph-Verstärkungen regularisieren. Umfangreiche Experimente auf verschiedenen Benchmark-Datensätzen zeigen, dass CGT die derzeit besten Baselines übertrifft und die Grad-Bias-Probleme signifikant reduziert. Der Quellcode ist unter https://github.com/NSLab-CUK/Community-aware-Graph-Transformer verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Minderung von Gradverzerrungen im Message-Passing-Mechanismus durch Nutzung von Gemeinschaftsstrukturen | Paper | HyperAI