Basierend Auf Realen Daten Aus Sieben Großstädten Hat Das Team Der Tsinghua-Universität Das GPD-Modell Als Open Source Veröffentlicht.

Städte sind die Heimat, in der Menschen in Frieden und Zufriedenheit leben und arbeiten. Sie bilden den Grundstein für die wirtschaftliche Entwicklung der Regierung und tragen die sensiblen humanistischen Gefühle und den großen Kontext der nationalen Entwicklung. Seit langem erforschen Manager effizientere und wissenschaftlichere Methoden der Stadtverwaltung, um Probleme wie die unausgewogene Ressourcenversorgung, Verkehrsstaus und Bevölkerungsschwund in verschiedenen Regionen zu lösen. Mit der beschleunigten Weiterentwicklung von Technologien wie dem Internet der Dinge, künstlicher Intelligenz und Big Data sind intelligente Städte entstanden und immer mehr Länder haben begonnen, Innovationen zu entwickeln, die auf die örtlichen Gegebenheiten reagieren.

Wenn der Aufbau einer Smart City mit dem „Bau eines Hauses“ verglichen wird, dann sind räumlich-zeitliche Daten die unverzichtbaren „Steine und Fliesen“, und das auf räumlich-zeitlichen Daten basierende räumlich-zeitliche Vorhersagemodell ist eine wichtige Grundlage für das Smart-City-Framework. Wie der Name schon sagt, zeichnen raumzeitliche Daten das Auftreten und die Veränderungen von Ereignissen in zwei Dimensionen auf: Zeit und Raum, und umfassen geografische Informationen, meteorologische Daten, Verkehrsdaten, Bevölkerungsdaten, Satellitenfernerkundungsdaten usw.

Aufgrund unterschiedlicher Entwicklungsstufen der Städte und unterschiedlicher Richtlinien zur Datenerfassung verfügen manche Städte jedoch nicht über raumzeitliche Daten, was die Erstellung von Vorhersagemodellen erschwert. In dieser Hinsicht verwenden bestehende Methoden hauptsächlich Daten aus datenreichen Quellstädten, um Modelle zu trainieren und sie auf Zielstädte anzuwenden, in denen Daten rar sind. Dieser Prozess beruht jedoch häufig auf komplexen Matching-Designs und die Frage, wie ein allgemeinerer Wissenstransfer zwischen den Quell- und Zielstädten erreicht werden kann, bleibt eine wichtige Herausforderung.

Angesichts des weit verbreiteten Problems der Datenknappheit im städtischen Computing,Das Center for Urban Science and Computing Research, Department of Electronic Engineering, Tsinghua University, hat seine neuesten Forschungsergebnisse „Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation“ veröffentlicht und das GPD-Modell (Generative Pre-Trained Diffusion) vorgeschlagen.Das Diffusionsmodell wird zum Generieren neuronaler Netzwerkparameter verwendet, wodurch räumlich-zeitliches Lernen mit wenigen Versuchen in ein Vortrainingsproblem des Diffusionsmodells umgewandelt wird. Diese Forschung wurde von ICLR2024 akzeptiert und die Daten und der Code wurden als Open Source bereitgestellt.

Der Vorteil besteht darin, dass durch das Vortrainieren eines Diffusionsmodells das Wissen zur Optimierung der Parameter des neuronalen Netzwerks aus den Daten der Quellstadt erlernt wird und dann basierend auf den Eingabeaufforderungen ein an die Zielstadt angepasstes neuronales Netzwerk generiert wird.

Link zum Artikel:
https://openreview.net/forum?id=QyFm3D3Tzi
Link zum Herunterladen des Datensatzes:
https://hyper.ai/datasets/30453

Folgen Sie dem offiziellen Konto und antworten Sie mit „Tsinghua GPD“, um das vollständige Dokument herunterzuladen

Datensatz zu Menschenmengen und Verkehr in mehreren Städten

Die Forscher führten Experimente zu zwei Arten von räumlich-zeitlichen Prognoseaufgaben durch: der Prognose von Menschenströmen und der Prognose der Verkehrsgeschwindigkeit.

Zur Vorhersage von Menschenströmen führten die Forscher Experimente mit drei realen Datensätzen durch, darunter New York City, Washington, D.C. und Baltimore. Jeder Datensatz enthält stündliche Fußgängerströme in allen Regionen.

Zur Vorhersage der Verkehrsgeschwindigkeit führten die Forscher Experimente mit vier realen Datensätzen durch, darunter MetaLA, PEMS-BAy, Didi Chengdu und Didi Shenzhen.

In den beiden oben genannten Testaufgaben klassifizierten die Forscher die Datensätze in Quellstädte und Zielstädte. Wenn beispielsweise eine bestimmte Stadt als Zieldatensatz festgelegt wird und davon ausgegangen wird, dass nur eine begrenzte Datenmenge, beispielsweise 3 Tage an Daten, zugänglich ist (vorhandene Modelle erfordern normalerweise mehrere Monate an Daten, um das Modell zu trainieren), wird das Diffusionsmodell mit den umfangreichen Daten trainiert, die von der Quellstadt bereitgestellt werden.

Doppel-Buff: Vortraining + sofortiges Feintuning

Wie in der folgenden Abbildung dargestellt, ist GPD als Rahmenwerk zur bedingten Generierung in drei Hauptphasen unterteilt:

(a) Vorbereitungsphase des neuronalen Netzwerks

Die Forscher trainierten für jedes Quellstadtgebiet ein separates räumlich-zeitliches Vorhersagemodell und speicherten dessen optimierte Netzwerkparameter. Die Modellparameter für jede Region werden unabhängig optimiert und in ein vektorbasiertes Format ohne gemeinsame Parameternutzung konvertiert, um sicherzustellen, dass sich das Modell optimal an die Eigenschaften der jeweiligen Region anpassen kann.

(b) Vortraining des Diffusionsmodells

Das Framework verwendet die gesammelten vortrainierten Modellparameter als Trainingsdaten, um das Diffusionsmodell zu trainieren und den Prozess der Generierung von Modellparametern zu erlernen. Das Diffusionsmodell generiert Parameter durch progressive Rauschunterdrückung, wodurch bei entsprechender Anweisung neuronale Netzwerkparameter aus Rauschen generiert werden können. Dieser Prozess ähnelt dem Parameteroptimierungsprozess, der mit einer zufälligen Initialisierung beginnt, und kann sich daher besser an die Datenverteilung der Zielstadt anpassen.

(c) Generierung neuronaler Netzwerkparameter

Nach dem Vortraining können Parameter unter Verwendung der regionalen Hinweise der Zielstadt generiert werden. Dieser Ansatz fördert den Wissenstransfer und die genaue Parameterübereinstimmung mithilfe von Hinweisen und nutzt die Ähnlichkeiten zwischen den Regionen zwischen den Städten voll aus.

Unter diesen ist die Netzwerkstruktur des Rauschunterdrückungsnetzwerks in der folgenden Abbildung dargestellt:

Wie in der Abbildung oben (a) gezeigt, verwendet die Architektur des Rauschunterdrückungsnetzwerks dieser Studie ein promptbasiertes Transformer-Diffusionsmodell. Nach der Schichtsegmentierung werden die Parameter in eine beschriftete Sequenz neu organisiert.

Während des Entrauschungsprozesses berücksichtigt das Transformer-Diffusionsmodell neben der Rauschsequenz auch den Zeitschritt k und den Region Cue p. Die Forscher untersuchten mehrere Anpassungsmethoden, wie etwa die Anpassung nach der Anpassung und die adaptive Normanpassung, und nahmen kleinere, aber wichtige Änderungen am Design der Transformer-Schicht vor. Die Anpassungsstrategien sind in den Abbildungen (b) und (c) oben dargestellt.

Es ist erwähnenswert, dassIm Rahmen der Feinabstimmung von Hinweisen vor dem Training ist die Auswahl der Hinweise äußerst flexibel, solange sie die Merkmale einer bestimmten Region erfassen können.Dabei können beispielsweise verschiedene statische Merkmale wie Einwohnerzahl, regionale Ausdehnung, Funktionen und Verteilung der Points of Interest (POIs) herangezogen werden.

Diese Arbeit nutzt regionale Hinweise sowohl aus räumlicher als auch aus zeitlicher Perspektive:

* Räumliche Hinweise stammen aus Knotendarstellungen im Wissensgraphen der Stadt, wobei nur Beziehungen wie regionale Nachbarschaft und funktionale Ähnlichkeit verwendet werden, die in allen Städten leicht zu erhalten sind;

* Die Zeithinweise stammen vom Encoder des selbstüberwachten Lernmodells.

GPD bietet in datenarmen Szenarien eine gute Leistung mit einer Leistungsverbesserung von 7,87%

Um die Wirksamkeit des vorgeschlagenen Rahmens zu bewerten, wurden im Rahmen der Studie Experimente mit zwei Arten klassischer räumlich-zeitlicher Vorhersageaufgaben durchgeführt: Vorhersage von Menschenströmen und Vorhersage der Verkehrsgeschwindigkeit. Die Studie zeigte, dassDas BIP schneidet in datenarmen Szenarien gut ab und verbessert sich in vier Datensätzen im Durchschnitt um 7,871 TP3T gegenüber dem besten Basiswert.

In den Datensätzen von Washington, DC, Baltimore, Los Angeles und Chengdu erreicht GPD eine Reduzierung des mittleren absoluten Fehlers (MAE) von 4,31%, 17,1%, 2,1% bzw. 8,17% im Vergleich zu den besten Basismethoden, die in der obigen Tabelle mit Linien markiert sind. Dies zeigt, dassGPD zeigt in unterschiedlichen Datenszenarien durchweg gute Ergebnisse und erreicht einen effektiven Wissenstransfer auf der Ebene der neuronalen Netzwerkparameter.

Darüber hinaus wurde in dieser Studie auch die Flexibilität des GPD-Frameworks bei der Anpassung an verschiedene räumlich-zeitliche Vorhersagemodelle überprüft. Zusätzlich zur klassischen räumlich-zeitlichen Graphenmethode STGCN wurden in dieser Studie auch GWN und STID als räumlich-zeitliche Vorhersagemodelle eingeführt und das Diffusionsmodell zur Generierung ihrer Netzwerkparameter verwendet. Die experimentellen Ergebnisse zeigen, dassDie Überlegenheit des Frameworks wird durch die Modellauswahl nicht beeinträchtigt, sodass es an verschiedene erweiterte Modelle angepasst werden kann.

Beschleunigen Sie die Erstellung eines „realistischen 3D-China“

In den letzten Jahren hat sich das Problem der Erfassung räumlich-zeitlicher Daten durch die Beschleunigung des Aufbaus neuer Infrastrukturen weitgehend verringert. Darüber hinaus wurden durch die erfolgreiche Anwendung von Wenige-Stichproben-Lernmethoden wie der oben genannten Methode in immer mehr Städten städtische raumzeitliche Big-Data-Plattformen implementiert, die an die örtlichen Gegebenheiten angepasst sind.

Ein Bericht in der People's Daily vom Mai 2023 zeigte, dass die Selbstgarantierate inländischer Satellitenfernerkundungsbilder mehr als 90% erreichte; Die Datenbank mit grundlegenden geografischen Informationen im Maßstab 1:50.000 wurde jährlich dynamisch aktualisiert und die Landabdeckungsrate der grundlegenden geografischen Informationsdaten im Maßstab 1:10.000 erreichte 65%.

Berichten zufolge wurde das reale 3D-China in den Gesamtplan für den Aufbau von Digital China integriert und vollständig eingeführt. Das Land und die Provinzen, Städte und Landkreise arbeiten zusammen, um die reale 3D-Konstruktion auf Gelände-, Stadt- und Komponentenebene zu fördern. Die Produktabdeckung erstreckt sich von der Landoberfläche bis zum Meer, unter Wasser und unter der Erde. Derzeit sind die Konstruktionsergebnisse von Real-life 3D China in Echtzeit mit der nationalen Basisinformationsplattform für den Landraum verbunden und werden zur Überprüfung der für die dritte nationale Landvermessung gemeldeten Daten, zur Ermittlung von Veränderungsstellen in Landveränderungsvermessungen sowie zur Demonstration und Programmsimulation der nationalen Landraumplanung verwendet.

Bis Mai 2023 werden 40 raumzeitliche Big-Data-Plattformen für Smart Cities fertiggestellt.Es wurden mehr als 400 Industrieanwendungssysteme für die Überwachung und Verwaltung natürlicher Ressourcen, das städtische Feinmanagement, die Transport- und Marktüberwachung usw. entwickelt, die in Echtzeit eine umfassende, zuverlässige und zuverlässige räumliche und zeitliche Infrastrukturunterstützung für das städtische Feinmanagement, die wirtschaftliche Entwicklung und das öffentliche Leben bieten.

Sicher ist, dass sich vor dem Hintergrund des „digitalen China“ der Bau intelligenter Städte mit den Zielen der Lebensqualität und nachhaltigen Entwicklung weiter intensivieren wird. Die Bedeutung raumzeitlicher Daten und raumzeitlicher Modelle als Grundlage des städtischen Gehirns ist dabei offensichtlich. Man geht davon aus, dass räumlich-zeitliche Vorhersagen mit der Verbesserung der Datenerfassungsmöglichkeiten und der Iteration von Lernmethoden mit wenigen Stichproben genauer werden.

Quellen:
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm