In der Erforschung komplexer Systeme sind „Netzwerke“ nahezu allgegenwärtig – von Genregulationsnetzwerken und mikrobiellen Gemeinschaften bis hin zu Kommunikations- und Transportnetzwerken in der menschlichen Gesellschaft. Das Verständnis der Dynamik dieser hochdimensionalen Netzwerke bleibt jedoch eine der größten Herausforderungen des Fachgebiets.

einerseits,Die Entwicklung von Sensoren, Sequenzierungstechnologien und digitaler Infrastruktur hat es den Menschen ermöglicht, auf eine beispiellose Menge an Beobachtungsdaten zuzugreifen;auf der anderen Seite,Es mangelt an erklärbaren mathematischen Modellen, die diese Daten erklären und kausale Mechanismen aufdecken können. Hohe Dimensionalität, starke Nichtlinearität und strukturelle Heterogenität bedeuten, dass traditionelle Modellierungsmethoden entweder auf starken Annahmen beruhen und nur begrenzt anwendbar sind oder lediglich auf Korrelationsanalysen beschränkt bleiben und die grundlegenden Gesetzmäßigkeiten der Systemfunktion nicht erfassen können.

Als Antwort auf die damit verbundenen HerausforderungenProfessor Li Yong und sein Team vom Fachbereich Elektrotechnik der Tsinghua-Universität haben eine neuronale symbolische Regressionsmethode, ND², vorgeschlagen.Diese Methode charakterisiert die Systemdynamik, indem sie automatisch mathematische Formeln aus Daten ableitet. Sie vereinfacht das Suchproblem in hochdimensionalen Netzwerken auf ein eindimensionales System und nutzt vortrainierte neuronale Netze, um hochpräzise Formeln zu ermitteln. In Studien zur Übertragung von Infektionskrankheiten in menschlichen Mobilitätsnetzwerken unterschiedlicher Größenordnung hat diese Methode Knotenkorrelationsdynamiken aufgezeigt, die über alle Größenordnungen hinweg dieselbe Potenzgesetzverteilung aufweisen, und Unterschiede in der Wirksamkeit von Interventionen zwischen verschiedenen Ländern offengelegt.

Die zugehörige Studie mit dem Titel „Discovering network dynamics with neural symbolic regression“ wurde in Nature Computational Science veröffentlicht.

Link zum Artikel:

https://www.nature.com/articles/s43588-025-00893-8

Folgen Sie unserem offiziellen WeChat-Account und antworten Sie im Hintergrund mit „neuronale symbolische Regression“, um das vollständige PDF herunterzuladen.

Weitere Artikel zu den Grenzen der KI:
https://hyper.ai/papers

Um eine effiziente Formelfindung zu erreichen, wird ein Symbolsuchalgorithmus vorgestellt, der von NDformer gesteuert wird.

Forscher haben eine neuronale symbolische Regressionsmethode (Neural Discovery of Network Dynamics, ND²) vorgeschlagen, einen Deep-Learning-Ansatz, der automatisch Formeln für die Netzwerkdynamik mittels symbolischer Regression ermittelt. Zu diesem ZweckDie Forscher entwarfen eine Reihe von Netzwerkdynamikoperatoren.Dies transformiert das ursprünglich auf hochdimensionalen Netzwerken auftretende Symbolsuchproblem in ein äquivalentes eindimensionales Problem; gleichzeitig...Es wird ein symbolischer Suchalgorithmus vorgestellt, der von NDformer gesteuert wird.Um eine effiziente Formelfindung zu erreichen.

Wie in der folgenden Abbildung dargestellt, umfassen die Netzwerkdynamikoperatoren den Quelloperator φ(s), den Zieloperator φ(t) und den Aggregationsoperator ρ. Diese Operatoren machen den Ausdruck der Netzwerkdynamikformel unabhängig von der Netzwerkgröße und komprimieren so den Suchraum, der ursprünglich exponentiell mit der Netzwerkgröße wächst, zu einem dimensionsunabhängigen eindimensionalen Problem.

Darüber hinaus verbessert der von NDformer gesteuerte symbolische Suchalgorithmus die Effizienz und Genauigkeit der Formelfindung erheblich, indem er die Vorteile neuronaler Netze und symbolischer Suchmethoden kombiniert.Der Algorithmus besteht aus einem symbolischen Modul, das für die Suche zuständig ist, und einem neuronalen Modul, das für die Steuerung zuständig ist.Wie in der folgenden Abbildung dargestellt, lernt das neuronale Modul NDformer, die impliziten Merkmale der zugrunde liegenden Dynamik des Systems zu erfassen und die Wahrscheinlichkeitsverteilung jedes Symbols zu schätzen, das zur Konstruktion der Formel erforderlich ist; das Symbolmodul MCTS wählt Symbole auf der Grundlage der von NDformer vorhergesagten Wahrscheinlichkeiten aus und konstruiert so Kandidatenformeln.

Für jede Kandidatenformel verwendet der Belohnungsrechner den Broyden-Fletcher-Goldfarb-Shanno-Algorithmus (BFGS), um die unbekannten Koeffizienten (falls vorhanden) an die Daten anzupassen und einen Belohnungswert zurückzugeben, der Genauigkeit und Einfachheit umfassend bewertet. Kandidatenformeln, die besser zu den Daten passen und kürzer sind, erhalten höhere Belohnungen, wodurch MCTS kontinuierlich bessere Kandidatenformeln generiert.

Speziell,NDformer ist eine Art neuronales Netzwerk, das Graph-Neuronale Netze (GNNs) und Transformer kombiniert.NDformer dient der Erfassung komplexer Netzwerkdynamikmerkmale. Durch Vortraining lernt NDformer, die Vorzeichen in der Formel anhand der Netzwerkstruktur und der Knotenaktivitätsdaten vorherzusagen und steuert anschließend das Monte-Carlo-Baumsuche-Modul (MCTS), um den Suchraum effizient zu durchsuchen und letztendlich eine präzise und prägnante Formel für die Netzwerkdynamik zu finden.

Die mikroskopische Dynamik von „Emergenz“-Phänomenen in komplexen, multiskaligen und multidisziplinären Systemen aufdecken.

Um die Effektivität der neuronalen symbolischen Regressionsmethode zu überprüfen, wandte das Forschungsteam die neuronale symbolische Regressionsmethode ND² auf komplexe Systeme in verschiedenen Maßstäben und Bereichen an, von der zellulären Ebene bis zur urbanen Ebene, und untersuchte dabei genetische, ökologische und soziale Netzwerke, um die mikroskopische Dynamik hinter verschiedenen komplexen Systemen zu erforschen, wie in der folgenden Abbildung dargestellt.

In GenexpressionsnetzwerkenDie vom Forschungsteam entdeckte dynamische Formel verbessert die Vorhersagegenauigkeit im Vergleich zu bestehenden empirischen Formeln um etwa 60%.Wichtiger noch: Die entdeckte Formel offenbart Wechselwirkungen höherer Ordnung: Die gegenseitige Regulation zwischen zwei Genen wird nicht nur von den beiden Genen selbst beeinflusst, sondern auch von einem dritten Gen, wodurch eine komplexe mikroskopische dynamische Struktur entsteht.

Im mikrobiellen ÖkosystemDie entdeckte dynamische Formel verbessert die Vorhersagegenauigkeit um etwa 561 TP3T im Vergleich zum traditionellen Lotka-Volterra-Modell.Es zeigt auch einzigartige Verhaltensweisen, die in bestehenden Modellen noch nicht beobachtet wurden: Populationen mit einer größeren Anzahl von Individuen werden von anderen Populationen weniger stark beeinflusst.

Parallel dazu nutzten Forscher die ND²-Symbolregressionsmethode, um die Übertragungsmechanismen von Infektionskrankheiten in urbanen Systemen auf verschiedenen Ebenen zu untersuchen. Die Studie wählte sieben repräsentative Regionen aus, die Übertragungsnetzwerke von der Stadtebene bis hin zur globalen Ebene abdecken, und ermittelte mithilfe dieser Methode automatisch die dynamischen Gleichungen der Epidemieübertragung (siehe Abbildung unten).

Diese Gleichungen weisen eine hohe Genauigkeit bei der Vorhersage auf und zeigen Unterschiede in den Ausbreitungsmechanismen in verschiedenen Regionen auf.Am Beispiel der USA und Chinas lassen sich unterschiedliche Dynamiken der Infektionsentwicklung veranschaulichen: In den USA bleibt der Übertragungsprozess stabil, während in China die Übertragungsintensität mit steigender Infektionszahl abnimmt. Dies deutet auf einen Selbstregulierungsmechanismus hin und spiegelt die Wirksamkeit der Präventions- und Kontrollmaßnahmen wider. Hinsichtlich der interregionalen Interaktionsdynamik hängt die Zahl der Neuinfektionen in den einzelnen US-Bundesstaaten von den Neuinfektionen in den anderen Bundesstaaten ab, was darauf hindeutet, dass Reisen zwischen den Bundesstaaten die Ausbreitung der Epidemie begünstigen. In China hingegen sind die Übertragungswege zwischen den Provinzen äußerst schwach, was auf eine strenge Kontrolle der regionenübergreifenden Übertragung schließen lässt. Diese Unterschiede korrespondieren mit der unterschiedlichen Intensität der Präventions- und Kontrollstrategien beider Länder.

Auf Grundlage der ermittelten dynamischen Gleichungen analysierten die Forscher die makroskopischen stationären Eigenschaften des Systems. Die Ergebnisse zeigen, dass die Ausbreitung der Epidemie in China und den Vereinigten Staaten drastisch unterschiedliche Muster aufweist: In China lässt sich die Zahl der Infektionen über einen längeren Zeitraum kontrollieren, solange der Verkehr zwischen den Provinzen unter einem bestimmten Schwellenwert liegt. Sobald dieser Schwellenwert überschritten wird, schnellt die Zahl der Infektionen rapide in die Höhe und zeigt ein typisches kritisches Verhalten. In den Vereinigten Staaten hingegen steigt die durchschnittliche Zahl der Infektionen linear mit dem Verkehr zwischen den Bundesstaaten an, was darauf hindeutet, dass die Verkehrskontrolle nur einen relativ geringen Einfluss auf die Gesamtübertragung hat. Diese Studie deckt nicht nur die dynamischen Ursachen der Unterschiede in der Epidemieprävention und -bekämpfung zwischen den beiden Ländern auf,Es demonstriert auch das breite Potenzial der neuronalen symbolischen Regressionsmethode zur Extraktion der mikroskopischen Mechanismen hinter der skalenübergreifenden "Emergenz" komplexer Systeme.

Durch eine Validierung über verschiedene Maßstäbe und Disziplinen hinweg konnte das Forschungsteam nicht nur die Effektivität der neuronalen symbolischen Regressionsmethode nachweisen, sondern auch ihr Potenzial bei der Aufdeckung der mikroskopischen Dynamik komplexer Systeme und der Entdeckung neuer wissenschaftlicher Erkenntnisse demonstrieren und so neue Werkzeuge und Ideen für die Grundlagenforschung und die wissenschaftliche Entdeckung bereitstellen.

Über das Team

Das Zentrum für Stadtforschung und Informatik (FIB LAB) am Institut für Elektrotechnik der Tsinghua-Universität betreibt Spitzenforschung im Bereich Künstliche Intelligenz und Datenwissenschaft. Der Fokus liegt auf wichtigen technologischen Innovationen in fundamentalen Modellen, KI-Forschern und Weltmodellen. Dabei wird der Einsatz von maschinellem Lernen zur Modellierung, Generierung, Simulation und Steuerung komplexer Systeme über verschiedene Maßstäbe hinweg erforscht. Zu den Forschungsobjekten gehören Roboter, Drohnen und menschliches Verhalten in Innen- und Außenbereichen, wodurch der physische Raum, die digitale Welt und soziale Systeme miteinander verknüpft werden. Das Labor konzentriert sich auf Anwendungen wie verkörperte Intelligenz, Stadtforschung und Social Computing und legt Wert auf multidisziplinäre Integration und die Modellierung großer Systeme, um den bedeutenden Bedarf verwandter Bereiche zu decken.