Zur Ausbildung von Graph Neural Networks mit Milliardenparametern für atomare Simulationen

Neuere Fortschritte bei Graph Neural Networks (GNNs) zur Modellierung atomarer Simulationen haben das Potenzial, die Entdeckung von Katalysatoren zu revolutionieren, was ein entscheidender Schritt ist, um die für den Kampf gegen den Klimawandel notwendigen Energiebrüche zu erreichen. Allerdings sind die GNNs, die sich als am effektivsten für diese Aufgabe erwiesen haben, aufwendig in Bezug auf den Speicherbedarf, da sie höhere Ordnungen von Interaktionen in den Graphen modellieren, wie zum Beispiel solche zwischen Tripletten oder Quadrupletten von Atomen. Dies macht es schwierig, diese Modelle zu skalieren. In dieser Arbeit stellen wir Graph Parallelism vor, eine Methode zur Verteilung der Eingabegraphen auf mehrere GPUs, wodurch es uns ermöglicht, sehr große GNNs mit Hunderten von Millionen oder Milliarden von Parametern zu trainieren. Wir bewerten unsere Methode empirisch, indem wir die Anzahl der Parameter der kürzlich vorgeschlagenen DimeNet++ und GemNet-Modelle um mehr als eine Größenordnung erhöhen. Bei dem großen Datensatz Open Catalyst 2020 (OC20) führen diese graphparallelen Modelle zu relativen Verbesserungen von 1) 15 % im Kraft-MAE-Maßstab für die S2EF-Aufgabe und 2) 21 % im AFbT-Maßstab für die IS2RS-Aufgabe, wodurch neue Standarte erzielt werden.请注意，这里有一些术语的翻译：- Graph Neural Networks: Graph Neural Networks (GNNs)- Memory intensive: speicheraufwendig- Higher-order interactions: höhere Ordnungen von Interaktionen- Triplets of atoms: Tripletten von Atomen- Quadruplets of atoms: Quadrupletten von Atomen- Parameters: Parameter- Force MAE metric: Kraft-MAE-Maßstab- S2EF task: S2EF-Aufgabe- AFbT metric: AFbT-Maßstab- IS2RS task: IS2RS-Aufgabe这些翻译保持了专业性和准确性，同时符合德语的表达习惯。