HyperAIHyperAI

Command Palette

Search for a command to run...

Erweiterung des Designraums von Graph-Neuralen Netzen durch Neubetrachtung des folklore-Weisfeiler-Lehman-Algorithmus

Jiarui Feng; Lecheng Kong; Hao Liu; Dacheng Tao; Fuhai Li; Muhan Zhang; Yixin Chen

Zusammenfassung

Message-Passing-Neural-Netzwerke (MPNNs) sind in den letzten Jahren als der beliebteste Rahmen für Graph-Neural-Netzwerke (GNNs) hervorgetreten. Ihre Ausdrucksstärke ist jedoch durch den eindimensionalen Weisfeiler-Lehman-Test (1-WL) begrenzt. Einige Arbeiten haben sich von kkk-WL/FWL (Folklore WL) inspirieren lassen und entsprechende neuronale Versionen entwickelt. Trotz ihrer hohen Ausdrucksstärke gibt es ernsthafte Einschränkungen in dieser Forschungsrichtung. Insbesondere: (1) kkk-WL/FWL erfordert eine Raumkomplexität von mindestens O(nk)O(n^k)O(nk), was selbst bei k=3k=3k=3 für große Graphen nicht praktikabel ist; (2) Der Entwurfsraum von kkk-WL/FWL ist starr, wobei das einzige einstellbare Hyperparameter kkk ist.Um die erste Einschränkung zu bewältigen, schlagen wir eine Erweiterung vor, nämlich (k,t)(k,t)(k,t)-FWL. Wir beweisen theoretisch, dass wir auch dann, wenn wir die Raumkomplexität auf O(nk)O(n^k)O(nk) (für jedes k2k \geq 2k2) in (k,t)(k,t)(k,t)-FWL festlegen, eine Ausdrucksstufen-Hierarchie bis hin zur Lösung des Graphisomorphieproblems konstruieren können. Um das zweite Problem zu lösen, schlagen wir kkk-FWL+ vor, das jeden äquivarianten Satz als Nachbarn betrachtet anstatt aller Knoten, wodurch der Entwurfsraum von kkk-FWL erheblich erweitert wird. Die Kombination dieser beiden Modifikationen führt zu einem flexiblen und leistungsfähigen Rahmenwerk (k,t)(k,t)(k,t)-FWL+. Wir zeigen, dass (k,t)(k,t)(k,t)-FWL+ die meisten bestehenden Modelle mit gleicher Ausdrucksstärke implementieren kann.Daraufhin stellen wir eine Instanz von (k,t)(k,t)(k,t)-FWL+ vor, die Neighborhood2^22-FWL (N2^22-FWL) genannt wird und sowohl praktisch als auch theoretisch fundiert ist. Wir beweisen, dass N2^22-FWL mindestens so mächtig wie 3-WL ist und viele Unterstrukturen kodieren kann, während sie nur eine Raumkomplexität von O(n2)O(n^2)O(n2) erfordert. Schließlich entwerfen wir seine neuronale Version, N2^22-GNN, und evaluieren ihre Leistung bei verschiedenen Aufgaben. N2^22-GNN erreicht bahnbrechende Ergebnisse auf ZINC Subset (0,059), wobei es die bisher besten Ergebnisse um 10,6 % übertrifft. Darüber hinaus erreicht N2^22-GNN neue Bestleistungen auf dem BREC-Datensatz (71,8 %) unter allen existierenden hochausdrucksstarken GNN-Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp