HyperAIHyperAI

Command Palette

Search for a command to run...

Einfache GNN-Regulierung für die Vorhersage von 3D-Moleküleigenschaften und darüber hinaus

Jonathan Godwin; Michael Schaarschmidt; Alexander Gaunt; Alvaro Sanchez-Gonzalez; Yulia Rubanova; Petar Veličković; James Kirkpatrick; Peter Battaglia

Zusammenfassung

In dieser Arbeit zeigen wir, dass einfache Rauschregularisierung eine effektive Methode sein kann, um das Oversmoothing von GNNs (Graph Neural Networks) zu bekämpfen. Zunächst argumentieren wir, dass Regularisierungen, die Oversmoothing angehen, sowohl die Ähnlichkeit der latenten Knotendarstellungen strafen als auch sinnvolle Knotendarstellungen fördern sollten. Aus dieser Beobachtung leiten wir "Rauschende Knoten" (Noisy Nodes) ab, eine einfache Technik, bei der wir den Eingabegraph mit Rauschen verzerren und einen knotenbasierten Verlust zur Korrektur des Rauschens hinzufügen. Der vielfältige knotenbasierte Verlust fördert die latente Knotenvielfalt, und das Denoising-Objektiv fördert das Lernen von Graph-Manifolds. Unser Regularisierungsansatz wendet gut untersuchte Methoden auf einfache und direkte Weise an, was es sogar generischen Architekturen ermöglicht, Oversmoothing zu überwinden und Spitzenleistungen in Quantenchemieaufgaben zu erzielen sowie die Ergebnisse auf den Datensätzen des Open Graph Benchmarks (OGB) erheblich zu verbessern. Unsere Ergebnisse deuten darauf hin, dass "Rauschende Knoten" als ergänzendes Bauteil im GNN-Toolset dienen können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp