7개 주요 도시의 실제 데이터를 기반으로 Tsinghua University 팀은 GPD 모델을 오픈 소스화했습니다.

도시는 사람들이 평화롭고 만족스럽게 살고 일하는 고향입니다. 그들은 정부가 경제 개발을 수행하는 데 있어 초석이 되며, 섬세한 인본주의적 감정과 국가 발전의 거대한 맥락을 담고 있습니다. 오랫동안 관리자들은 불균형한 자원 공급, 교통 체증, 다양한 지역의 인구 감소와 같은 문제를 해결하기 위해 더욱 효율적이고 과학적인 도시 거버넌스 방법을 모색해 왔습니다. 사물 인터넷, AI, 빅데이터 등 기술의 급속한 발전으로 스마트 시티가 등장했고, 점점 더 많은 국가가 지역 상황에 맞춰 혁신을 시작했습니다.

스마트 시티 건설을 '집 짓기'에 비유한다면, 시공간 데이터는 필수적인 '벽돌과 기와'와 같으며, 시공간 데이터에 기반한 시공간 예측 모델은 스마트 시티 프레임워크의 중요한 기반이 됩니다. 이름에서 알 수 있듯이 시공간 데이터는 사건의 발생과 변화를 시간과 공간의 두 차원에서 기록하며, 지리 정보, 기상 데이터, 교통 데이터, 인구 데이터, 위성 원격 감지 데이터 등을 포함합니다.

그러나 도시 개발 수준이 다르고 데이터 수집 정책도 다르기 때문에 일부 도시에서는 시공간적 데이터가 부족하여 예측 모델 구축을 지원하기 어렵습니다. 이와 관련하여, 기존의 방법들은 주로 데이터가 풍부한 소스 도시의 데이터를 사용하여 모델을 학습시키고, 데이터가 부족한 타겟 도시에 이를 적용합니다. 그러나 이 과정은 종종 복잡한 매칭 설계에 의존하며, 출처 도시와 타겟 도시 사이에서 보다 일반화된 지식 전달을 달성하는 방법은 여전히 중요한 과제로 남아 있습니다.

도시 컴퓨팅 분야에서 널리 퍼진 데이터 부족 문제를 고려하여청화대학교 전자공학과 도시과학 및 컴퓨팅 연구센터는 최신 연구 성과인 "확산 신경망 생성을 통한 시공간적 소수 학습"을 발표하고 GPD(Generative Pre-Trained Diffusion) 모델을 제안했습니다.확산 모델은 신경망 매개변수를 생성하는 데 사용되며, 시공간적 소수 학습을 확산 모델의 사전 학습 문제로 변환합니다. 이 연구는 ICLR2024의 승인을 받았으며, 데이터와 코드는 오픈 소스로 공개되었습니다.

이 방법의 장점은 확산 모델을 사전 학습함으로써 소스 도시의 데이터로부터 신경망 매개변수를 최적화하는 방법에 대한 지식을 학습하고, 그 지식을 바탕으로 대상 도시에 적합한 신경망을 생성한다는 것입니다.

논문 링크:
https://openreview.net/forum?id=QyFm3D3Tzi
데이터세트 다운로드 링크:
https://hyper.ai/datasets/30453

공식 계정을 팔로우하고 "Tsinghua GPD"라고 답글을 달면 전체 논문을 다운로드할 수 있습니다.

여러 도시를 포괄하는 군중 및 교통 데이터 세트

연구진은 군중 흐름 예측과 교통 속도 예측이라는 두 가지 유형의 시공간적 예측 작업에 대한 실험을 수행했습니다.

군중 흐름 예측에서 연구진은 뉴욕시, 워싱턴 D.C., 볼티모어를 포함한 세 개의 실제 데이터세트에 대한 실험을 수행했습니다. 각 데이터 세트에는 모든 지역의 시간별 도시 보행자 흐름이 포함되어 있습니다.

교통 속도 예측에서 연구진은 MetaLA, PEMS-BAy, Didi Chengdu, Didi Shenzhen을 포함한 4개의 실제 데이터 세트를 대상으로 실험을 수행했습니다.

위의 두 가지 테스트 과제에서 연구자들은 데이터 세트를 소스 도시와 타겟 도시로 분류했습니다. 예를 들어, 특정 도시를 대상 데이터 세트로 설정한 경우, 3일 분의 데이터와 같이 제한된 양의 데이터만 접근할 수 있다고 가정할 때(기존 모델은 일반적으로 모델을 학습하는 데 몇 달 분의 데이터가 필요함), 확산 모델은 소스 도시에서 제공하는 풍부한 데이터를 사용하여 학습됩니다.

더블 버프: 사전 훈련 + 즉각적인 미세 조정

아래 그림에서 볼 수 있듯이, 조건부 생성 프레임워크인 GPD는 세 가지 주요 단계로 구분됩니다.

(a) 신경망 준비 단계

연구진은 각 도시 지역에 대해 별도의 시공간 예측 모델을 훈련하고 최적화된 네트워크 매개변수를 저장했습니다. 각 지역의 모델 매개변수는 독립적으로 최적화되고 매개변수 공유 없이 벡터 기반 형식으로 변환되어 모델이 해당 지역의 특성에 가장 잘 적응할 수 있도록 보장합니다.

(b) 확산 모델 사전 학습

프레임워크는 수집된 사전 학습된 모델 매개변수를 학습 데이터로 사용하여 확산 모델을 학습시키고 모델 매개변수를 생성하는 과정을 학습합니다. 확산 모델은 점진적인 잡음 제거를 통해 매개변수를 생성하는데, 이는 힌트가 주어지면 잡음으로부터 신경망 매개변수를 생성할 수 있습니다. 이 과정은 무작위 초기화에서 시작하는 매개변수 최적화 과정과 유사하므로 대상 도시의 데이터 분포에 더 잘 적응할 수 있습니다.

(c) 신경망 매개변수 생성

사전 훈련 후, 대상 도시의 지역 신호를 사용하여 매개변수를 생성할 수 있습니다. 이 접근 방식은 힌트를 사용하여 지식 전달과 정확한 매개변수 매칭을 촉진하고, 도시 간 지역 간의 유사성을 최대한 활용합니다.

이 중, 노이즈 제거 네트워크의 네트워크 구조는 다음 그림과 같습니다.

위 그림(a)에서 보인 바와 같이, 본 연구의 잡음제거 네트워크 구조는 프롬프트 기반 변압기 확산 모델을 채택하고 있다. 레이어 분할 후 매개변수는 레이블이 지정된 시퀀스로 재구성됩니다.

잡음 제거 과정에서 변압기 확산 모델은 잡음 시퀀스 외에도 시간 단계 k와 영역 큐 p도 고려합니다. 연구진은 사후 적응 조정, 적응적 규범 조정 등 다양한 조정 방법을 모색했고, 변압기 계층 설계에 사소하지만 중요한 수정을 가했습니다. 조정 전략은 위의 그림 (b) 및 (c)에 표시되어 있습니다.

언급할 가치가 있는 것은 다음과 같습니다.사전 훈련-단서-미세 조정 프레임워크에서 단서의 선택은 특정 지역의 특성을 포착할 수 있는 한 매우 유연합니다.예를 들어, 인구, 지역, 기능, 관심 지점(POI) 분포 등 다양한 정적 특징을 활용할 수 있습니다.

이 연구는 공간적, 시간적 관점에서 지역적 단서를 활용합니다.

* 공간적 단서는 도시 지식 그래프의 노드 표현에서 나오며, 모든 도시에서 쉽게 얻을 수 있는 지역적 인접성 및 기능적 유사성과 같은 관계만을 사용합니다.

* 시간적 단서는 자기 감독 학습 모델의 인코더에서 나옵니다.

GPD는 데이터가 부족한 시나리오에서 7.87%의 성능 향상을 보이며 좋은 성과를 보였습니다.

제안된 프레임워크의 효과를 평가하기 위해 본 연구에서는 군중 흐름 예측과 교통 속도 예측이라는 두 가지 유형의 고전적인 시공간 예측 작업에 대한 실험을 수행했습니다. 연구 결과에 따르면GPD는 데이터가 부족한 상황에서도 좋은 성과를 보이며, 4개의 데이터세트에서 가장 우수한 기준선보다 평균 7.87%가 향상되었습니다.

워싱턴 DC, 볼티모어, 로스앤젤레스, 청두 데이터 세트에서 GPD는 위 표에 선으로 표시된 최상의 기준선 방법과 비교했을 때 각각 4.31%, 17.1%, 2.1%, 8.17%의 평균 절대 오차(MAE) 감소를 달성했습니다. 이는 다음을 보여줍니다GPD는 다양한 데이터 시나리오에서 지속적으로 우수한 성능을 보이며 신경망 매개변수 수준에서 효과적인 지식 전달을 달성합니다.

또한, 이 연구는 GPD 프레임워크가 다양한 시공간적 예측 모델에 적응하는 데 있어 유연성을 검증했습니다. 본 연구에서는 고전적인 시공간 그래프 방법인 STGCN 외에도 시공간 예측 모델로 GWN과 STID를 도입하고 확산 모델을 사용하여 네트워크 매개변수를 생성했습니다. 실험 결과는 다음과 같습니다.프레임워크의 우수성은 모델 선택에 영향을 받지 않으므로 다양한 고급 모델에 적용될 수 있습니다.

"현실적인 3D 중국"의 창조를 가속화하세요

최근 몇 년 동안 새로운 인프라 건설이 가속화되면서 시공간적 데이터를 수집하는 문제가 크게 완화되었습니다. 또한, 위에서 언급한 방법과 같은 소수 표본 학습 방법을 성공적으로 적용함으로써, 지역적 조건에 맞는 도시 시공간적 빅데이터 플랫폼이 점점 더 많은 도시에 구현되고 있습니다.

2023년 5월 인민일보 보도에 따르면 국내 위성 원격탐사 영상의 자체보증률은 90%를 넘어섰다고 합니다. 1:50000 기본 지리정보 데이터베이스는 매년 동적으로 업데이트되었으며, 1:10000 기본 지리정보 데이터의 토지피복률은 65%에 도달했습니다.

보도에 따르면, 실제 3D 중국이 디지털 중국 건설의 전반적인 레이아웃 계획에 통합되어 본격적으로 출시되었다고 합니다. 국가와 지방, 도시와 군에서는 지형, 도시 및 구성 요소 수준에서 실제 3D 건설을 촉진하기 위해 협력하고 있으며, 제품 범위는 육지 표면에서 바다, 수중 및 지하까지 확장됩니다. 현재 Real-life 3D China의 구축 결과는 실시간으로 국가 국토공간 기초정보 플랫폼에 연결되어 제3차 국가 국토조사 신고 데이터 검증, 토지변화 조사 변화지 추출, 국가 국토공간 계획의 시범 및 프로그램 시뮬레이션에 활용되고 있습니다.

2023년 5월까지 스마트시티 시공간적 빅데이터 플랫폼 40개가 완성됩니다.자연자원 모니터링 및 관리, 도시 정밀 관리, 교통 및 시장 감독 등을 위한 400개 이상의 산업 응용 시스템을 개발하여 도시 정밀 관리, 경제 개발 및 공공 생활을 위한 실시간, 풍부하고 전면적이며 권위 있는 공간적, 시간적 인프라 지원을 제공합니다.

확실한 것은 "디지털 중국"이라는 전반적인 배경 하에서, 살기 좋은 도시와 지속 가능한 발전을 목표로 하는 스마트 시티 건설이 계속해서 심화될 것이라는 점이며, 도시 두뇌의 기초로서 시공간 데이터와 시공간 모델의 중요성은 자명한 것입니다. 데이터 수집 역량이 향상되고 소수 표본 학습 방법이 반복되면서 시공간적 예측이 더욱 정확해질 것으로 믿어집니다.

참고문헌:
https://www.gov.cn/lianbo/bumen/202305/content_6874554.htm