清華大学のチームは、7 つの主要都市の実際のデータに基づいて GPD モデルを開発しました。

都市は、人々が平和で満足して暮らし、働く故郷であり、繊細な人道的感情と壮大な国家発展の背景を担う政府の経済建設の基礎です。管理者たちは長い間、地域ごとの不均一な資源供給、交通渋滞、人口減少などの問題を解決するために、より効率的で科学的な都市統治手法を模索してきました。モノのインターネット、AI、ビッグデータなどのテクノロジーの加速的な反復により、スマートシティが出現し、地域の状況に合わせたイノベーションがますます多くの国で始まっています。

スマートシティの建設を「家を建てる」ことにたとえると、時空間データは欠かせない「レンガ」であり、時空間データに基づく時空間予測モデルはスマートシティの枠組みの重要な基盤となります。時空間データは、その名前が示すように、地理情報、気象データ、交通データ、人口データ、衛星リモートセンシングデータなどを含む、時間と空間の両方の次元でイベントの発生と変化を記録します。

しかし、都市開発レベルやデータ収集方針の違いにより、一部の都市では空間的・時間的データが不足しており、予測モデルの構築を支援することが困難となっています。この点に関して、既存の手法は主にデータが豊富なソース都市データを使用してモデルをトレーニングし、データが不足しているターゲット都市に適用します。ただし、このプロセスは複雑なマッチング設計に依存することが多く、ソース都市とターゲット都市の間でより一般化された知識の伝達をどのように達成するかが依然として重要な課題です。

都市コンピューティングにおける広範なデータ不足問題に対応して、清華大学電子工学部都市科学コンピューティング研究センターは、最新の研究成果「拡散ニューラルネットワーク生成による時空間少数ショット学習」を発表し、GPD（Generative Pre-Trained Diffusion）モデルを提案した。拡散モデルはニューラル ネットワーク パラメーターの生成に使用され、時空間的な少数ショット学習を拡散モデルの事前トレーニング問題に変換します。この研究は ICLR2024 に受理されており、データコードはオープンソースとなっています。

利点は、拡散モデルを事前トレーニングすることによって、ニューラル ネットワーク パラメーターの最適化に関する知識がソース都市のデータから学習され、その後、ターゲット都市に適応したニューラル ネットワークがプロンプトに基づいて生成されることです。

論文リンク:
https://openreview.net/forum?id=QyFm3D3Tzi
データセットのダウンロード リンク:
https://hyper.ai/datasets/30453

公式アカウントをフォローし、バックグラウンドで「Tsinghua GPD」に返信して論文全文をダウンロードしてください

複数の都市をカバーする人の流れと交通データセット

研究者らは、群衆の流れの予測と交通速度の予測という 2 種類の時空間予測タスクに関する実験を実施しました。

群衆の流れの予測において、研究者らはニューヨーク市、ワシントン DC、ボルチモアを含む 3 つの現実世界のデータセットで実験を実施しました。各データセットには、すべての地域の時間ごとの都市歩行者交通量が含まれています。

交通速度の予測において、研究者らはMetaLA、PEMS-BAy、Didi Chengdu、Didi Shenzhenを含む4つの現実世界のデータセットで実験を実施した。

上記の 2 つのテスト タスクで、研究者はデータ セットをソース都市とターゲット都市に分類しました。たとえば、特定の都市がターゲット データセットとして設定されている場合、3 日分のデータなど、限られた量のデータのみにアクセスできると想定されます (既存のモデルでは通常、モデルのトレーニングに数か月のデータが必要です)。拡散モデルはソース都市から提供される豊富なデータに基づいてトレーニングされています。

ダブルバフ祝福: 事前トレーニング + 迅速な微調整

以下の図に示すように、GPD は条件生成フレームワークとして、3 つの主要なステージに分かれています。

(a) ニューラルネットワークの準備段階

研究者らは、ソース都市エリアごとに個別の時空間予測モデルをトレーニングし、最適化されたネットワーク パラメーターを保存しました。各領域のモデル パラメーターは個別に最適化され、パラメーターを共有せずにベクトル ベースの形式に変換されるため、モデルがそれぞれの領域の特性に最適に適応できるようになります。

(b) 普及モデルの事前学習

このフレームワークは、収集された事前トレーニングされたモデル パラメーターをトレーニング データとして使用して、拡散モデルをトレーニングし、モデル パラメーターの生成プロセスを学習します。拡散モデルは、段階的なノイズ除去を通じてパラメータを生成します。これにより、与えられたキューからノイズからニューラル ネットワーク パラメータを生成できます。このプロセスは、ランダムな初期化から始まるパラメータ最適化プロセスに似ているため、ターゲット都市のデータ分布によりよく適応できます。

(c) ニューラルネットワークパラメータの生成

事前トレーニング後、ターゲット都市の地域的な手がかりを使用してパラメータを生成できます。このアプローチでは、ヒントを活用して知識の伝達と正確なパラメーターのマッチングを促進し、都市間地域間の類似性を最大限に活用します。

このうち、ノイズ除去ネットワークのネットワーク構造は次の図に示されています。

上の (a) に示すように、この研究のノイズ除去ネットワーク アーキテクチャは、プロンプトベースの Transformer 拡散モデルを採用しています。層の分割後、パラメータはラベル シーケンスに再編成されます。

ノイズ除去プロセス中に、ノイズ シーケンスに加えて、Transformer 拡散モデルではタイム ステップ k と地域プロンプト p も考慮されます。研究者らは、ポストアダプティブ調整、アダプティブ仕様調整などのさまざまな調整方法を検討し、Transformer 層の設計に小さいながらも重要な変更を加えました。調整戦略は上記の (b) と (c) に示されています。

言及する価値があるのは、事前トレーニングとキューの微調整のフレームワークでは、特定の領域の特性を捉えることができる限り、キューの選択は非常に柔軟です。たとえば、人口、地域エリア、機能の分布や興味のある地点 (POI) など、さまざまな静的特徴を活用できます。

この作品は、空間と時間の両方で地域の手がかりを活用しています。

* 空間キューは都市ナレッジ グラフ内のノード表現から得られ、すべての都市で簡単に利用できる地域的隣接性や機能的類似性などの関係のみを使用します。

* 一時的なヒントは、自己教師あり学習モデルのエンコーダーから取得されます。

GPD はデータが不足しているシナリオでも優れたパフォーマンスを発揮し、パフォーマンスが 7.87% 向上します。

提案されたフレームワークの有効性を評価するために、この研究では、群衆の流れ予測と交通速度予測という 2 種類の古典的な時空間予測タスクについて実験を実施しました。その結果、次のことがわかりました。GPD はデータが不足しているシナリオでも優れたパフォーマンスを発揮し、4 つのデータセットで最良のベースラインを上回る平均 7.87% の改善を達成しました。

ワシントン DC、ボルチモア、ロサンゼルス、成都のデータセットでは、下線でマークされた最良のベースライン手法と比較して、GPD は平均絶対誤差 (MAE) でそれぞれ 4.31%、17.1%、2.1%、および 8.17% の削減を達成しています。上の表にある。これは次のことを示していますGPD はさまざまなデータ シナリオで一貫して優れたパフォーマンスを発揮し、ニューラル ネットワーク パラメーター レベルで効果的な知識伝達を実現します。

さらに、この研究では、さまざまな時空間予測モデルを適応させるための GPD フレームワークの柔軟性も検証されました。古典的な時空間グラフ手法 STGCN に加えて、この研究では時空間予測モデルとして GWN と STID も導入し、拡散モデルを使用してそれらのネットワーク パラメーターを生成します。実験結果は次のことを示していますフレームワークの優位性は機種選択に左右されないため、様々な先進機種に適応可能です。

「リアル3D中国」の創造を加速

近年、新興インフラストラクチャの構築の加速に伴い、上記の少数サンプル学習方法の適用が成功したことと相まって、時空間データ収集の問題は大幅に軽減され、都市の時空間ビッグデータプラットフォームが適応されました。地元の状況に合わせて、ますます多くの都市で人気が高まっています。

人民日報は2023年5月、国内の衛星リモートセンシング画像の自主保証率が90%以上に達し、1:50000の基本地理情報データベースが毎年動的に更新され、基本土地被覆率が1:10000になったと報じた。地理情報データが65%に達しました。

報道によると、リアル 3D チャイナはデジタルチャイナ建設の全体的な配置計画に組み込まれ、国、省、市、県が連携して地形レベル、都市レベル、コンポーネントの建設を促進するために本格的に着手したという。地上から海、水中、地下までを網羅したレベルのリアル3D。現在、現実の三次元中国建設結果はリアルタイムで土地と空間の基本情報プラットフォームに接続されており、第三次国土調査申告データ検証、土地変更調査変更パッチ抽出、土地変更に使用されています。宇宙計画準備デモンストレーションとプログラム演繹など

2023年5月現在、40のスマートシティ時空間ビッグデータプラットフォームの構築が完了している。天然資源の監視と管理、都市の洗練された管理、交通と市場の監督などのために 400 を超える産業アプリケーション システムが開発されており、都市の洗練された管理、経済発展にリアルタイムでリッチかつ包括的かつ権威ある時間と空間の基本的なサポートを提供しています。そして公生活。

確かなことは、「デジタルチャイナ」の文脈において、住みやすさと持続可能な発展を目的としたスマートシティの構築が今後も深化していくこと、そして都市の頭脳の基盤となる時空間データや時空間モデルが非常に重要であるということである。 Yu 氏は、データ収集能力の向上と少数ショット学習法の反復により、時空間予測がより正確になると考えています。

参考文献:
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm