Sur La Base De Données Réelles Provenant De Sept Grandes Villes, L'équipe De L'université Tsinghua a Rendu Le Modèle GPD Open Source.

Les villes sont la patrie où les gens vivent et travaillent dans la paix et le contentement. Ils constituent la pierre angulaire du gouvernement pour mener à bien le développement économique et véhiculer les sentiments humanistes délicats et le grand contexte du développement national. Depuis longtemps, les gestionnaires explorent des méthodes de gouvernance urbaine plus efficaces et plus scientifiques pour résoudre des problèmes tels que l’approvisionnement déséquilibré en ressources, la congestion du trafic et la perte de population dans différentes régions. Avec l’itération accélérée de technologies telles que l’Internet des objets, l’IA et le big data, des villes intelligentes ont vu le jour et de plus en plus de pays ont commencé à innover en réponse aux conditions locales.

Si la construction d’une ville intelligente est comparée à la « construction d’une maison », alors les données spatio-temporelles sont les « briques et tuiles » indispensables, et le modèle de prédiction spatio-temporelle basé sur les données spatio-temporelles est une base importante pour le cadre de la ville intelligente. Comme leur nom l’indique, les données spatio-temporelles enregistrent l’occurrence et les changements d’événements dans deux dimensions : le temps et l’espace, et comprennent des informations géographiques, des données météorologiques, des données de trafic, des données démographiques, des données de télédétection par satellite, etc.

Cependant, en raison des différents niveaux de développement urbain et des différences dans les politiques de collecte de données, certaines villes manquent de données spatio-temporelles, ce qui rend difficile la construction de modèles de prédiction. À cet égard, les méthodes existantes utilisent principalement des données provenant de villes sources riches en données pour former des modèles et les appliquer aux villes cibles où les données sont rares. Cependant, ce processus repose souvent sur des modèles de correspondance complexes, et la manière de parvenir à un transfert de connaissances plus généralisé entre les villes sources et cibles reste un défi important.

Compte tenu du problème généralisé de pénurie de données dans l’informatique urbaine,Le Centre de recherche en sciences urbaines et en informatique, Département d'ingénierie électronique, Université Tsinghua, a publié ses derniers résultats de recherche, « Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation », et a proposé le modèle GPD (Generative Pre-Trained Diffusion).Le modèle de diffusion est utilisé pour générer des paramètres de réseau neuronal, transformant l'apprentissage spatio-temporel en quelques coups en un problème de pré-formation du modèle de diffusion. Cette recherche a été acceptée par ICLR2024, et les données et le code ont été open source.

Son avantage est qu’en pré-entraînant un modèle de diffusion, les connaissances sur l’optimisation des paramètres du réseau neuronal sont apprises à partir des données de la ville source, puis un réseau neuronal adapté à la ville cible est généré en fonction des invites.

Lien vers l'article :
https://openreview.net/forum?id=QyFm3D3Tzi
Lien de téléchargement du jeu de données :
https://hyper.ai/datasets/30453

Suivez le compte officiel et répondez « Tsinghua GPD » pour télécharger l'article complet

Ensemble de données sur la foule et le trafic couvrant plusieurs villes

Les chercheurs ont mené des expériences sur deux types de tâches de prévision spatio-temporelle : la prévision des flux de foule et la prévision de la vitesse du trafic.

Dans le cadre de la prévision des flux de foule, les chercheurs ont mené des expériences sur trois ensembles de données du monde réel, notamment celles de New York, de Washington, D.C. et de Baltimore. Chaque ensemble de données contient les flux piétonniers urbains horaires dans toutes les régions.

Dans la prévision de la vitesse du trafic, les chercheurs ont mené des expériences sur 4 ensembles de données du monde réel, dont MetaLA, PEMS-BAy, Didi Chengdu et Didi Shenzhen.

Dans les deux tâches de test ci-dessus, les chercheurs ont classé les ensembles de données en villes sources et villes cibles. Par exemple, si une ville spécifique est définie comme ensemble de données cible, en supposant que seule une quantité limitée de données, comme 3 jours de données, est accessible (les modèles existants nécessitent généralement plusieurs mois de données pour entraîner le modèle), le modèle de diffusion est entraîné à l'aide des données riches fournies par la ville source.

Double buff : pré-entraînement + réglage fin rapide

Comme le montre la figure ci-dessous, GPD, en tant que cadre de génération conditionnelle, est divisé en trois étapes clés :

(a) Étape de préparation du réseau neuronal

Les chercheurs ont formé un modèle de prédiction spatiotemporel distinct pour chaque zone urbaine source et ont enregistré ses paramètres de réseau optimisés. Les paramètres du modèle pour chaque région sont optimisés indépendamment et convertis dans un format vectoriel sans partage de paramètres pour garantir que le modèle peut s'adapter au mieux aux caractéristiques de la région respective.

(b) Pré-formation du modèle de diffusion

Le cadre utilise les paramètres de modèle pré-entraînés collectés comme données d'entraînement pour entraîner le modèle de diffusion afin d'apprendre le processus de génération des paramètres du modèle. Le modèle de diffusion génère des paramètres par débruitage progressif, ce qui peut générer des paramètres de réseau neuronal à partir du bruit donné. Ce processus est similaire au processus d’optimisation des paramètres à partir d’une initialisation aléatoire et peut donc mieux s’adapter à la distribution des données de la ville cible.

(c) Génération de paramètres de réseau neuronal

Après la pré-formation, les paramètres peuvent être générés en utilisant les indices régionaux de la ville cible. Cette approche favorise le transfert de connaissances et la correspondance précise des paramètres à l’aide d’indices, exploitant pleinement les similitudes entre les régions interurbaines.

Parmi eux, la structure du réseau de débruitage est illustrée dans la figure suivante :

Comme le montre la figure ci-dessus (a), l'architecture du réseau de débruitage de cette étude adopte un modèle de diffusion de transformateur basé sur des invites. Après la segmentation des couches, les paramètres sont réorganisés en une séquence étiquetée.

Au cours du processus de débruitage, le modèle de diffusion du transformateur prend également en compte le pas de temps k et le repère de région p en plus de la séquence de bruit. Les chercheurs ont exploré plusieurs méthodes d’ajustement, telles que l’ajustement post-adaptation, l’ajustement adaptatif de la norme, et ont apporté des modifications mineures mais importantes à la conception de la couche Transformer. Les stratégies d’ajustement sont présentées dans les figures (b) et (c) ci-dessus.

Il convient de mentionner queDans le cadre de réglage fin des signaux de pré-formation, le choix des signaux est très flexible tant qu'ils peuvent capturer les caractéristiques d'une région spécifique.Par exemple, diverses fonctionnalités statiques peuvent être utilisées, telles que la population, la superficie régionale, les fonctions et la répartition des points d’intérêt (POI).

Ce travail exploite les indices régionaux à la fois dans des perspectives spatiales et temporelles :

* Les indices spatiaux proviennent des représentations des nœuds dans le graphe de connaissances de la ville, en utilisant uniquement des relations telles que la contiguïté régionale et la similarité fonctionnelle, qui sont faciles à obtenir dans toutes les villes ;

* Les repères temporels proviennent de l’encodeur du modèle d’apprentissage auto-supervisé.

GPD fonctionne bien dans les scénarios de données rares, avec une amélioration des performances de 7,87%

Afin d’évaluer l’efficacité du cadre proposé, l’étude a mené des expériences sur deux types de tâches de prédiction spatio-temporelles classiques : la prédiction du flux de foule et la prédiction de la vitesse du trafic. L'étude a montré queGPD fonctionne bien dans les scénarios où les données sont rares, s'améliorant en moyenne de 7,87% par rapport à la meilleure base de référence sur quatre ensembles de données.

Dans les ensembles de données de Washington, DC, Baltimore, Los Angeles et Chengdu, GPD atteint une réduction de l'erreur absolue moyenne (MAE) de 4,31%, 17,1%, 2,1% et 8,17%, respectivement, par rapport aux meilleures méthodes de base marquées par des lignes dans le tableau ci-dessus. Cela montre queGPD fonctionne systématiquement bien dans différents scénarios de données et permet un transfert de connaissances efficace au niveau des paramètres du réseau neuronal.

De plus, cette étude a également vérifié la flexibilité du cadre GPD pour s’adapter à différents modèles de prédiction spatio-temporelle. En plus de la méthode classique de graphe spatiotemporel STGCN, cette étude a également introduit GWN et STID comme modèles de prédiction spatiotemporelle et a utilisé le modèle de diffusion pour générer leurs paramètres de réseau. Les résultats expérimentaux montrent queLa supériorité du framework n’est pas affectée par le choix du modèle, il peut donc être adapté à divers modèles avancés.

Accélérer la création d'une « Chine 3D réaliste »

Ces dernières années, avec l’accélération de la construction d’infrastructures émergentes, le problème de la collecte de données spatio-temporelles a été largement atténué. De plus, grâce à l’application réussie de méthodes d’apprentissage à faible échantillon telles que la méthode mentionnée ci-dessus, des plateformes de big data spatio-temporelles urbaines adaptées aux conditions locales ont été mises en œuvre dans de plus en plus de villes.

Un rapport du Quotidien du Peuple de mai 2023 a montré que le taux d'auto-garantie des images de télédétection par satellite nationales atteignait plus de 90% ; La base de données d'informations géographiques de base 1:50000 a été mise à jour dynamiquement sur une base annuelle, et le taux de couverture terrestre des données d'informations géographiques de base 1:10000 a atteint 65%.

Selon les rapports, la Chine 3D réelle a été intégrée au plan d'aménagement global pour la construction de la Chine numérique et a été entièrement lancée. Le pays, les provinces, les villes et les comtés travaillent ensemble pour promouvoir la construction 3D réelle aux niveaux du terrain, de la ville et des composants, et la couverture des produits s'étend de la surface terrestre à l'océan, sous l'eau et sous terre. À l'heure actuelle, les résultats de construction de Real-life 3D China ont été connectés en temps réel à la plate-forme nationale d'informations de base sur l'espace terrestre et sont utilisés dans la vérification des données déclarées pour la troisième enquête nationale sur les terres, l'extraction des points de changement dans les enquêtes sur les changements fonciers et la démonstration et la simulation du programme de planification de l'espace terrestre national.

D’ici mai 2023, 40 plateformes de big data spatio-temporelles pour villes intelligentes seront achevées.Elle a développé plus de 400 systèmes d'application industrielle pour la surveillance et la gestion des ressources naturelles, la gestion urbaine raffinée, la supervision des transports et des marchés, etc., fournissant un support d'infrastructure spatiale et temporelle en temps réel, riche, complet et faisant autorité pour la gestion urbaine raffinée, le développement économique et la vie publique.

Ce qui est certain, c'est que dans le contexte général de la « Chine numérique », la construction de villes intelligentes avec pour objectifs la qualité de vie et le développement durable va continuer à s'approfondir, et l'importance des données spatio-temporelles et des modèles spatio-temporels comme fondement du cerveau de la ville est évidente. On pense qu’avec l’amélioration des capacités de collecte de données et l’itération des méthodes d’apprentissage à partir de quelques échantillons, les prédictions spatio-temporelles deviendront plus précises.

Références :
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm