20개 이상의 시공간 데이터 세트와 1억 3천만 개 이상의 샘플 포인트를 수집한 Tsinghua 연구팀은 생성 AI를 기반으로 한 3가지 도시 복합 시스템 모델링 방법을 제안했습니다.
도시 복잡 시스템 연구의 선구자 중 한 명으로 알려진 마이클 배티는 그의 저서에서 다음과 같이 말했습니다."도시는 본질적으로 복잡한 적응 시스템으로, 그 구조와 기능이 끊임없이 진화하고 매우 비선형적이고 자체 조직화되는 특성을 보입니다."현대 도시의 지속적인 발전으로 인해 도시 시스템의 복잡성은 증가하고 있습니다.
이러한 복잡성으로 인해 기존 모델링 방법으로는 대처하기 어렵습니다. 그러나 생성적 AI 기술이 발전함에 따라 생성적 모델링은 새로운 기술적 수단으로 점차 도시 시스템을 연구하고 이해하는 데 중요한 도구가 되어가고 있습니다. 복잡한 도시 시스템의 생성 모델은 도시 구조의 진화를 시뮬레이션할 수 있을 뿐만 아니라 혁신적인 도시 계획 계획을 생성하여 스마트 시티와 지속 가능한 개발에 대한 새로운 아이디어를 제공합니다.
국내 상황을 중심으로 도시 복합 시스템의 생성 모델에 대한 연구는 최근 몇 년 동안 상당한 진전을 이루었으며, 많은 대학과 연구 기관에서 유익한 성과를 거두었습니다.
최근 HyperAI가 공동으로 주최한 COSCon'24 AI for Science 포럼에서청화대학교 전자공학과 도시과학 및 계산연구센터의 박사후 연구원인 딩 징타오는 "AI 기반 모델링과 도시 복잡 시스템의 법칙 발견"이라는 제목으로 연설했습니다.우리는 복잡한 도시 시스템을 위한 시공간적 생성 모델링 방법과 팀의 최신 연구 진행 상황에 대해 심층적으로 설명했습니다.
하이퍼AI는 딩징타오 박사의 심도 있는 공유 내용을 원래 의도를 훼손하지 않고 편집하고 요약했습니다. 다음은 연설 전문입니다.
도시 복합 시스템의 생성 모델링에 집중하고 데이터 분포 패턴을 발견합니다.
저희 팀은 스마트 시티와 도시 컴퓨팅 분야의 연구에서 복잡한 도시 시스템 모델링에 중점을 두고 있습니다.복잡한 시스템으로서의 도시는 생태계에서의 자연이 작동하는 방식과 유사합니다. 그 안에 사는 인간은 여러 차원에서 도시 시스템과 상호 작용하며 복잡한 상호작용을 형성합니다. 예를 들어, 도시 건설 과정에서 교통망, 통신망, 전력공급망 등 다양한 네트워크 체계가 형성되었습니다. 물리적 수준의 네트워크 요소와 인간 삶의 사회적 요소가 서로 얽혀 있어 도시 시스템의 복잡성은 더욱 심화됩니다.
이에 저희 팀의 연구는 주로 다음 세 가지 유형의 이슈에 집중되어 있습니다.
(1) 도시국가의 진화를 예측하는 문제,즉, 우리는 도시의 미래 발전 방향과 과정에 초점을 맞춰야 합니다. 도시 발전은 본질적으로 시공간적 변화의 역동적인 과정이기 때문입니다. 이는 전형적인 시공간적 예측 문제입니다.
(2) 도시적 요소의 시뮬레이션 및 추론,디지털 트윈이나 메타버스의 개념과 유사하게, 디지털 환경은 실제 데이터를 통해 구성되고 이를 기반으로 추론되어 가상 시나리오에서 '만약' 문제를 해결합니다.
(3) 도시 거버넌스 의사결정 최적화 문제,앞서 언급한 도시 진화 예측과 시뮬레이션을 바탕으로 교통 체증이나 자연 재해와 같은 특정 도시 문제를 해결하기 위해 도시 거버넌스 결정을 최적화할 수 있습니다.
저희 팀의 현재 연구 초점은 복잡한 도시 시스템의 생성 모델링에 맞춰져 있습니다.생성 모델의 핵심은 데이터 뒤에 숨은 확률 분포를 학습하는 것입니다. 즉, 관찰된 데이터를 기반으로 확률 분포를 모델링하고 데이터 생성 과정을 포착하는 것입니다.만약 이 모델이 이러한 기능을 갖추고 있다면 위의 세 가지 유형의 문제를 효과적으로 해결할 수 있습니다.
모델링 과제를 해결하기 위한 생성적 AI 방법 소개
생성적 AI는 현재 크게 두 가지 측면에서 급속히 발전하고 있습니다. 하나는 대규모 언어 모델로 대표되는 언어 생성 기술의 발전이고, 다른 하나는 확산 모델로 대표되는 시각적 콘텐츠 생성 기술의 발전입니다.생성적 AI 방법이 복잡한 도시 시스템 모델링에 적용 가능한지 여부가 우리 연구의 핵심이 됩니다.
도시 복잡 시스템에서 모델링의 어려움은 주로 다음과 같은 측면에서 나타납니다.누들:첫째, 도시 복합 시스템은 시공간적 특성이 강하고, 데이터 모달리티가 매우 풍부하여 도시 내 보행자 이동 궤적 데이터 등 다양한 형태의 시공간 데이터가 존재하는데, 이는 자연어의 시퀀스 데이터와 유사하다. 이 밖에도 폭주 사고를 예방하기 위한 시공간적 격자 데이터와 도시 내의 지형적 구조(도로와 속도 측정 코일이 형성하는 그래프 구조 등) 등이 있다. 이러한 서로 다른 모달 시공간 데이터가 혼합되어 모델링에 어려움이 발생합니다.
둘째, 도시 복잡계의 관점에서 볼 때, 도시는 여러 하위 시스템으로 구성된 거대한 시스템입니다. 이러한 하위 시스템 내에서는 복잡한 상호 작용이 이루어지고 있으며, 서로 다른 하위 시스템(예: 전력 시스템 및 통신 네트워크 시스템) 간에는 일정 수준의 결합이 존재합니다. 이러한 하위 시스템의 상호 의존성과 복잡한 상호작용으로 인해 모델링에 대한 요구 사항이 더 높아졌습니다.
마지막으로, 도시 시스템은 역동적인 과정입니다. 다양한 하위 시스템은 다양한 데이터를 수집할 수 있으며, 이러한 데이터는 서로 다른 형태, 모드, 분포를 가지므로 보편적으로 모델링하기 어렵습니다. 이 역시 현재 연구 단계에서는 극복하기 어려운 문제이다.
위의 과제를 바탕으로 오늘은 다음 세 가지 분야에서의 연구 진행 상황을 소개하겠습니다.첫 번째는 사람들의 흐름에 대한 시뮬레이션입니다.우리는 도시에서의 사람들의 이동을 보다 정확하게 추론하기 위해 물리학적 지식에 따른 확산 모델을 제안합니다.두 번째는 복잡한 시스템의 회복력에 대한 예측입니다. 마지막은 일반적인 시공간 예측 모델입니다.
군중 이동 시뮬레이션 - 물리학 지식에 따른 확산 모델
보행자 흐름 시뮬레이션의 목적은 공간 내에서 다수의 보행자의 역동적인 움직임과 상호작용 과정을 재현하는 것입니다. 핵심 문제는 보행자나 개인의 시작점과 도착점을 고려하여 이동 과정 중에 그들의 궤적을 생성하는 것입니다.이러한 시뮬레이션은 게임 속 가상 캐릭터(NPC)의 경로 계획이나 실제 생활에서의 건물 설계 타당성 분석 등 다양한 응용 시나리오에서 큰 가치를 지닙니다. 특정 시나리오에서 건축 설계의 성능을 테스트하려면 일반적으로 대규모 보행자 흐름을 시뮬레이션해야 합니다.
그러나 인간 흐름 시뮬레이션의 주요 과제는 시뮬레이션 대상이 명확한 물리 법칙을 지닌 분자 시스템이 아니라 자율적인 의사 결정 능력을 갖춘 개인, 즉 인간이라는 점입니다.사람들의 의사결정 메커니즘은 복잡하고 변화하기 쉽습니다. 한편으로는 개인의 선호도가 주변 환경의 영향을 받아 그들의 의사결정이 끊임없이 조정됩니다. 반면에 인간의 행동에는 본질적으로 불확실성이 있습니다. 예를 들어, 장애물에 직면했을 때, 사람마다 대처 전략이 다릅니다(어떤 사람은 왼쪽으로 가기를 선택하고, 어떤 사람은 오른쪽으로 가기를 선택합니다). 그리고 이러한 불확실성은 결정론적 공식으로 설명하기 어렵습니다.
실제 응용 분야에서 가장 널리 사용되는 군중 흐름 시뮬레이션 모델은 "사회적 힘 모델"입니다. 이는 뉴턴 역학의 아이디어에서 유래되었으며 ABM(에이전트 기반 모델링)을 기반으로 하는 고전적 방법 중 하나입니다.사회적 힘 모델은 인간의 움직임을 힘에 의해 주도되는 과정으로 본다. 아래 그림에서 보듯이, 개인이 이동할 때 목적지에 끌릴 뿐만 아니라, 주변 장애물과 보행자에 의해 밀려나기도 합니다. 그러나 자세히 살펴보면 사회적 힘 모델은 실제 데이터의 미묘한 특징을 포착하는 데 부족하다는 것을 알 수 있습니다.
따라서 우리는 생성적 AI 기술을 결합하는 방법을 탐색합니다.물리학 지식을 확산 모델에 주입합니다.확산 모델을 선택한 이유는 인간의 의사결정 메커니즘이 본질적으로 불확실하고 확률 생성 과정이기 때문입니다. 확산 모델은 고차원 데이터 분포를 모델링하는 데 좋은 성능을 보이며 이러한 불확실성 문제를 시뮬레이션하는 데 적합합니다.
우리는 사회적 힘 모델을 기반으로 그래프 신경망을 설계하고, 사회적 힘의 매력과 반발 항을 모델에 통합했으며, 군중 흐름 시뮬레이션 모델인 SPDiff를 제안했습니다.
아래 그림에서 볼 수 있듯이, 우리는 회전과 이동과 같은 군중 이동 데이터의 숨겨진 대칭성을 고려하여 모델 설계 과정에 통합했습니다. 이러한 유도적 편향을 주입하면 전체 시뮬레이션 프로세스를 최적화하는 데 도움이 됩니다.
우리는 모델 성능을 평가하기 위해 실제 보행자의 움직임에 대한 데이터 세트를 선택했습니다. 데이터 소스에는 역 광장의 감시 데이터와 거리의 보행자 이동 데이터가 포함됩니다.
다음 지표는 주로 모델 평가와 관련됩니다.첫 번째는 개별 이동 오차, 즉 시뮬레이션된 궤적과 실제로 관찰된 궤적 사이의 절대 오차입니다. 두 번째는 그룹 분포 지수입니다. 즉, 시뮬레이션된 궤적이 분포 수준에서 실제 데이터에 가깝기를 바랍니다. 또한, 시각화 분석도 실시하였는데, 그 결과, 고전적인 사회적 힘 모델과 비교했을 때, 우리 모델이 장애물 회피 효과 측면에서 더 합리적인 성능을 보였다는 것을 알 수 있었습니다. 물리적 지식을 도입한 후 모델 매개변수의 수가 크게 줄어들어 모델 효율성이 최적화되었다는 점도 언급할 가치가 있습니다.
물리적 지식의 도입을 더 탐구했을 때, 우리는 동등성이 소규모 표본 학습에서 모델에 이점을 제공한다는 것을 발견했습니다. 앞서 언급했듯이, 회전과 이동 후에는 이동 궤적이 본질적으로 대칭이 됩니다.따라서 이 모델은 효과적인 학습을 완료하는 데 적은 수의 데이터 샘플만 필요합니다.실험 결과, 훈련 데이터 양을 5%로 줄이더라도 모델 효과는 여전히 전체 데이터 세트의 성능과 비슷한 것으로 나타났습니다.
관련 연구는 "군중 시뮬레이션을 위한 사회 물리학 기반 확산 모델"과 "현실적인 군중 시뮬레이션을 위한 충돌 회피 행동의 이해 및 모델링"이라는 제목으로 AAAI 2024와 CIKM 2023에 각각 게재되었으며, 코드와 데이터는 오픈 소스로 공개되었습니다.
서류 주소:https://arxiv.org/abs/2402.06680
오픈소스 프로젝트 주소:https://github.com/tsinghua-fib-lab/SPDiff
서류 주소:https://dl.acm.org/doi/10.1145/3583780.3615098
오픈소스 프로젝트 주소:https://github.com/tsinghua-fib-lab/TECRL
시스템 복원력 예측: 네트워크 역학에 의해 강화된 확산 모델
회복력이란 시스템이 내부적 장애나 외부적 장애를 겪었을 때 기본적인 시스템 기능을 유지할 수 있는 능력을 말합니다.예를 들어, 생태계의 경우 회복력은 환경 변화에도 불구하고 생물다양성을 유지하는 능력을 말합니다. 인간 사회 시스템에서는 공급망 네트워크와 같은 많은 엔지니어링 시스템이 특수한 상황에서 생산자와 소비자 간의 정상적인 생산 및 판매 관계를 보장하고, 이를 통해 경제의 정상적인 운영을 유지할 수 있는 회복력을 갖추고 있기를 바랍니다.
이론적인 관점에서 네트워크 회복력에 대한 몇 가지 고전적인 정의가 있습니다. 회복성은 x로 표현되는 노드 상태로 볼 수 있으며, 노드에 교란이 가해진 후 시스템이 유일하게 예상되는 안정 상태로 수렴할 수 있는지 여부를 반영합니다.시스템이 회복력이 있다면, 방해를 받더라도 일정 기간 내에 예상 상태로 복구할 수 있습니다. 회복력이 부족하면 회복하기 어렵습니다. 아래 그림에서 보듯이, 회복력이 있는 시스템은 교란 이후 안정된 상태로 돌아갈 수 있는 반면, 회복력이 없는 시스템은 복구가 불가능할 수 있습니다.
2017년 초, Nature에 게재된 한 논문에서 이론적 모델링 방법을 제안했는데, 이는 본질적으로 n차원 고차원 시스템을 연구하는 것입니다. 이러한 시스템의 노드 수는 수만 개에서 수백만 개에 달할 수 있습니다.이론상 이 방법은 차원 축소를 통해 고차원 시스템을 1차원으로 단순화하여 시스템의 회복력에 대한 표현을 얻습니다.
그러나 이러한 이론적 도구는 실제 시스템에서는 한계가 있으며 상관관계가 약한 시스템에만 적용할 수 있습니다. 그러나 실제 시스템에서는 종종 유사-이질 연관 효과가 존재합니다. 즉, 에지로 연결된 두 노드의 차수 값은 높은 상관 관계를 가질 수 있습니다. 따라서 이 도구는 실제 시스템의 회복력을 평가하는 데 여전히 몇 가지 문제가 있습니다.
서류 주소:https://www.nature.com/articles/nature16948
이를 바탕으로 우리 팀은 데이터 기반 네트워크 시스템 복원력 모델링 방법을 제안했습니다.앞서 언급했듯이, 회복성은 노드 상태 진화와 네트워크 토폴로지의 결합된 효과에 영향을 받습니다. 데이터 기반 또는 머신 러닝 관점에서 모델링을 통해 문제를 두 가지 차원으로 나눕니다. 한편, 노드 상태의 동적 변화 과정은 상태 진화 궤적에 의해 특징지어집니다. 반면, 네트워크 토폴로지의 영향도 고려해야 합니다. 이 둘은 함께 작용하여 복잡한 시스템의 회복력을 만들어냅니다. 이를 바탕으로 데이터 기반의 회복력 예측 모델을 설계합니다.
모델 아키텍처 측면에서 우리는 그래프 신경망과 Transformer를 결합한 구조를 설계했습니다.동적 진화 부분에서는 Transformer를 사용하여 시간적 관계를 모델링합니다. 복잡한 위상 관계에 대해 시스템 간의 고차 상호작용을 모델링하기 위해 그래프 신경망을 도입했습니다. 이 둘은 함께 작용하여 시스템 회복력에 대한 관찰을 형성합니다.
실험에서는 생태계 공급망, 생화학에서의 유전자 조절 역학, 신경과학에서의 신경 신호 전달 역학 등 다양한 유형의 노드 상태 역학을 고려했습니다. 토폴로지 측면에서 우리는 클래식 네트워크 토폴로지 유형을 선택했습니다.
실험 결과에 따르면, 본 모델의 예측 정확도가 크게 향상되었고, F1 점수가 높으며, 해석 가능성도 일정 수준 향상되었으며, 결정 평면의 차원 축소 시각화가 실현되었습니다.
그러나 실제 적용에서는 대부분 시스템의 복원력이 알려지지 않았으며, 복원력이 있는지 여부를 판단하기 어려워 복원력 라벨링 데이터가 부족하고 모델 예측에 편차가 발생합니다. 이를 위해 우리는 표본 수준에서 모델을 개선하여 소규모 표본 사례에서도 모델을 더욱 견고하게 만들었습니다.
구체적인 전략은 확산 모델을 기반으로 복원력 있는 시스템과 복원력 없는 시스템의 관찰 샘플을 생성하여 예측 모델을 강화하는 것입니다. 이 샘플은 노드 토폴로지와 상태 진화 궤적을 다룹니다. 먼저, 데이터 강화가 수행됩니다. 강화된 샘플은 회복력 예측 모듈을 더 잘 훈련시킬 수 있습니다. 예측 결과는 데이터 강화 모듈을 역으로 안내하여 더욱 가치 있는 샘플을 생성하고 긍정적인 피드백 루프를 형성합니다.
확산 모델의 제어 가능한 생성 능력, 즉 분류기 유도 기술을 활용하여 원하는 수준의 복원력을 갖춘 샘플을 생성하고, 이를 통해 데이터 증가를 달성합니다.
소규모 샘플 테스트 결과에 따르면 확산 모델 강화 후 20개 샘플만 사용하여 모델 예측 정확도가 87%에 도달할 수 있습니다.데이터 강화 없이 모델 예측 정확도는 62%에 불과합니다. 실제 관찰에서 장시간 관찰이 불가능한 시스템의 경우, 상태 진화 궤적에 대한 관찰 기간이 짧아도 비슷한 예측 정확도를 얻을 수 있다는 점이 매우 중요합니다.
관련 연구는 "복잡한 네트워크 시스템을 위한 딥러닝 복원력 추론"과 "TDNetGen: 토폴로지와 역학의 생성적 증강을 통한 복잡한 네트워크 복원력 예측 강화"라는 제목으로 Nature Communications와 KDD 2024에 각각 게재되었으며, 코드와 데이터는 오픈 소스로 공개되었습니다.
서류 주소:
https://www.nature.com/articles/s41467-024-53303-4
오픈소스 프로젝트 주소:
https://github.com/tsinghua-fib-lab/ResInf
서류 주소:
https://arxiv.org/abs/2408.09825
오픈소스 프로젝트 주소:
https://github.com/tsinghua-fib-lab/TDNetGen
일반 시공간 예측 - 신속한 학습 강화된 시공간 GPT
2017년 이래로 시공간적 예측 문제는 딥러닝 분야에서 점차 주목을 받고 있습니다. 현재 연구 방법은 크게 두 가지 범주로 나뉜다. 하나는 특정 데이터 유형이나 소스의 시공간적 특성에 기반하여 해당 딥 러닝 모델을 설계하는 것이다. 다른 하나는 저수지 계산과 같은 동적 시스템 방법을 사용하여 복잡계나 응용 수학의 관점에서 모델링하는 것입니다. 두 방법의 공통점은 둘 다 단일 하위 시스템을 모델링한다는 것입니다.
그러나 도시 시스템의 경우 실제 하위 시스템 간의 높은 상관관계로 인해 1 + 1 > 2의 시너지 효과를 달성하기 위해 공동 모델링을 달성하고자 합니다. 이것이 또한 우리 연구 작업의 핵심 목표입니다.
이러한 틀에서 우리의 개념은 다음과 같은 실현 가능성에 기초하고 있습니다. 비록 다양한 유형의 시공간적 데이터가 조직 형태와 분포에서 차이가 있지만, 본질적으로 이들 모두는 인간의 생산과 도시 생활에서 유래되었으며, 다양한 차원에서 기본적인 보편적 메커니즘을 구체화한 것입니다. 따라서 적절한 방법만 찾으면 이러한 이질적인 데이터를 통합하여 1 + 1 > 2의 시너지 효과를 얻을 수 있습니다.
실제 운영에서는 교통, 이동통신망, 대기오염 등 5개 하위 시스템을 망라하고 국내외 14개 도시를 포괄하여 20개 이상의 시공간 데이터 세트와 1억 3천만 개 이상의 샘플 포인트를 수집했습니다.
모델 설계 측면에서는 Transformer 아키텍처를 계속 사용하고, 다양한 형태의 시공간 데이터를 고차원 텐서로 모델링하고, ViT(Vision Transformer)와 유사한 방식으로 처리했습니다.마침내, 보편적 시공간 예측 모델 UniST가 형성되었습니다.
모델 학습의 첫 번째 단계에서는우리는 다양한 유형의 시공간 데이터를 토큰화하고, 고차원 텐서를 각각 토큰에 해당하는 작은 블록으로 분해하고, 다양한 마스크 전략을 사용하여 다양한 시공간적 상관관계 특성을 포착합니다.
모델 학습의 두 번째 단계에서는,우리는 다양한 형태의 시공간적 데이터 뒤에 숨은 공통 법칙을 탐구해야 합니다. 여기서 "지식"이란 시공간적 데이터에서 널리 나타나는 고전적 진화 패턴, 즉 시간적 근접성, 주기성, 추세는 물론, 공간적 근접성 및 계층성을 의미합니다. 이러한 시공간적 도메인 지식을 추출하고 해당 패턴을 정의함으로써 실제 데이터의 차원을 여러 패턴 공간으로 줄이고 방대한 데이터에 대한 사전 학습을 수행합니다. 이런 방식으로 새로운 데이터를 처리할 때 모델은 해당 패턴을 빠르게 일치시키고 RAG와 유사한 방식으로 작은 샘플이나 심지어 샘플이 없는 경우에도 정확한 예측을 달성할 수 있습니다.
모델의 성능을 평가할 때 우리는 두 가지 주요 작업에 초점을 맞춥니다. 첫째, 장기 및 단기 예측 기능입니다. 두 번째는 가장 중요한 제로샷 역량입니다. 즉, 모델이 특정 작업이나 데이터에 노출되지 않고도 작업을 직접 처리할 수 있는 능력입니다.예를 들어, 베이징에 대한 데이터 세트를 기반으로 모델을 학습시킨 경우, 학습에 포함되지 않은 상하이 데이터에 대해서도 모델은 상하이의 시공간 시리즈를 기반으로 정확한 예측을 달성할 수 있습니다.
아래 그림에서 볼 수 있듯이, 빨간색 점선은 제로 샘플 조건에서 우리 방법의 예측 효과를 나타내고, 맨 왼쪽의 빨간색 사각형은 1%/5% 샘플 조건에서 우리 방법의 예측 결과를 나타내며, 나머지는 기준 방법입니다. 우리의 방법이 제로샷 전송에서 1%/5% 샘플을 사용하는 기준 방법보다 상당히 우수한 성능을 보이는 것을 알 수 있습니다.
이런 효과는 왜 발생할까요? 그림에서 베이징과 상하이 데이터의 유사성을 비교해 보면, 즉시 계산을 통해 베이징 장안제와 상하이 징안구의 데이터가 매우 유사하다는 것을 알 수 있습니다. 높은 유사성은 모델이 상하이 데이터로 훈련을 받지 않았음에도 불구하고 베이징 데이터로 훈련을 받은 경우 유사한 예측 패턴을 형성할 수 있는 이유를 설명합니다.
또한 우리는 시공간적 데이터가 스케일링 법칙에 따라 어떻게 동작하는지, 즉 데이터 양을 늘리면 모델 성능이 크게 향상되는지 알아보았습니다. 하지만 기존 데이터 볼륨과 데이터 유형의 한계로 인해 아직은 명확한 스케일링 효과를 관찰하지 못하고 있으며, 이 측면에서 데이터 유형을 더욱 풍부하게 만들 필요가 있습니다.
"UniST: 도시 시공간 예측을 위한 신속 강화 범용 모델"이라는 제목의 관련 연구가 KDD 2024에 선정되었습니다.
서류 주소:
https://arxiv.org/abs/2402.11838
오픈소스 프로젝트 주소:
https://github.com/tsinghua-fib-lab/UniST
물리적 지식에 따라 복잡한 도시 시스템을 모델링하기 위한 새로운 아이디어가 제공됩니다.
마지막으로 도시 복합 시스템 모델링의 미래 방향과 저희 팀(칭화대학교 전자공학과 도시과학 및 계산 센터)의 최신 진행 상황에 대해 논의하고 싶습니다.
우리는 물리적 지식을 더욱 결합하여 모델의 견고성과 일반화 능력을 향상시킬 수 있다고 믿습니다.아직 많은 메커니즘이 완전히 탐구되지 않은 도시 시스템의 경우, 상징적 회귀 및 네트워크 역학 추론과 같은 방법을 종합적으로 활용하여 실제 데이터에서 시스템의 진화 법칙을 설명하는 상징적 공식을 추출할 수 있습니다.
관련 연구는 "그래프 구조의 물리적 메커니즘을 위한 기호 모델 학습"이라는 제목으로 ICLR 2023에 게재되었습니다.
서류 주소:https://openreview.net/pdf?id=f2wN4v_2__W
대규모 복잡한 네트워크 분야에서는 통계 물리학의 이론 기반 차원 축소 도구인 재정규화 그룹이 이미 존재합니다. 이를 실제 대규모 네트워크 예측에 적용하면 진화 역학의 저차원 "골격"을 식별하고 장기 예측을 달성하는 데 도움이 됩니다. 이것이 바로 우리의 최근 연구의 초점입니다.
관련 연구는 "쌍곡선 공간에서 골격 식별을 통한 복잡한 네트워크의 장기 역학 예측"이라는 제목으로 KDD 2024에 게재되었습니다.
서류 주소:https://arxiv.org/abs/2408.09845
또한, 소규모 표본 학습을 지원하기 위해 물리적 지식을 도입하면 모델의 일반화 능력이 크게 향상됩니다.재난 이후의 비상 대응을 예로 들면, 이 시나리오에 대한 역사적 자료는 부족하지만, 일부 학자들은 메커니즘적 관점에서 재난 이후의 인간 행동에 대한 동적 방정식을 구축했습니다. 이러한 방정식을 실제 데이터 모델과 결합하면 샘플이 제한된 경우에서 더욱 강력한 예측이 가능해집니다.
관련 연구는 "재난 후 이동성 복구를 위한 물리학 기반 신경 ODE"라는 제목으로 KDD 2024에 게재되었습니다.
서류 주소:https://dl.acm.org/doi/10.1145/3637528.3672027
또한 우리는 대규모 언어 모델이 시공간 데이터 영역에서 추론과 시뮬레이션을 수행할 수 있는 잠재력을 가지고 있다고 믿습니다.예를 들어, 대규모 언어 모델은 네트워크 감정이나 경제 시스템을 시뮬레이션하는 데 사용될 수 있습니다. 대규모 언어 모델을 사용하여 네트워크 관점을 시뮬레이션하는 연구와 관련하여, 관련 논문이 "협업적 역할 주입 LLM 기반 에이전트를 통한 입장 감지"라는 제목으로 ICWSM 2024에 게재되었습니다.
서류 주소:https://arxiv.org/abs/2310.10467
대규모 언어 모델을 이용한 경제 시스템 시뮬레이션에 관한 연구에서, 우리는 대규모 언어 모델 에이전트를 활용하여 경험적 법칙을 따르는 거시경제 모델을 효과적으로 시뮬레이션했습니다."EconAgent: 거시경제 활동을 시뮬레이션하기 위한 대규모 언어 모델 기반 에이전트"라는 제목의 관련 연구는 ACL 2024 우수 논문상을 수상했습니다.
서류 주소:https://arxiv.org/abs/2310.10436
대규모 언어 모델은 인간이 생성한 대량의 언어 데이터를 기반으로 학습되고 인간과 유사한 추론 및 의사 결정 기능을 갖추고 있기 때문에 저희 팀은 이를 인간 행동을 생성하거나 시뮬레이션하는 데 적용하는 방안을 모색하고 있습니다. 대규모 모델 사전 학습 지식의 도움을 받아 기존의 생성 모델 기반 접근 방식과 비교했을 때, 100,000개의 학습 샘플과 유사한 효과를 얻는 데 200개의 샘플만 필요하며, 특정 시나리오에서 빠른 일반화를 달성할 수 있음을 발견했습니다.
관련 연구 "계획된 행동 사슬 워크플로가 LLM에서 짧은 시간 내에 이동성 생성을 이끌어낸다"가 사전 인쇄 웹사이트 arXiv에 업로드되었습니다.
서류 주소:https://arxiv.org/abs/2402.09836
또한 저희 팀은 대규모 언어 모델을 지능적인 의사 결정 최적화에 추가로 활용할 수 있는지도 연구하고 있습니다.관련 연구 "대규모 언어 모델을 이용한 복잡 네트워크의 중요 노드 식별"이 사전 인쇄 웹사이트 arXiv에 업로드되었습니다.
서류 주소:https://arxiv.org/abs/2403.03962
FIB LAB 소개
이번 강연의 초청 연사는 청화대학교 전자공학과 도시과학 및 컴퓨팅 연구 센터(FIB LAB)의 Jingtao Ding 박사입니다.연구센터는 도시과학과 컴퓨팅 연구에 중점을 두고 있으며, 도시과학을 기초 연구 문제로 삼고 복잡계와 계산사회학 등의 이론을 바탕으로 연구를 수행하며, 데이터 과학과 머신러닝의 신세대 "인지 인공지능"을 핵심 기술로 결합하여 도시 트윈, 도시 거버넌스, 무선 네트워크 트윈 등 국가적 주요 요구에 부응하는 응용 분야를 지원합니다. 현재 이 팀에는 교사 6명과 학생 60명 이상이 있습니다.
이 팀은 Nature의 하위 저널과 KDD, NeurIPS, WWW, UbiComp(7개 하위 저널과 100개 이상의 CCF A 논문)와 같은 최고 국제 저널과 최고 국제 컨퍼런스에 150개 이상의 학술 논문을 출판했으며, 25,000회 이상의 인용을 기록했습니다. 이 팀은 국제 학회에서 7개의 최우수 논문/후보상을 수상했습니다.본 팀은 과학기술부의 중점 연구개발 계획, 중국 국가자연과학기금위원회 등 15개 이상의 프로젝트를 주관하거나 참여하였으며, 관련 성과로 국가과학기술진보상 2등을 수상하였습니다.
연구 센터는 항상 산업과 학계의 통합을 고수해 왔습니다. 최근 몇 년 동안 화웨이, 텐센트, 알리바바, 마이크로소프트 리서치 아시아, 메이투안, 콰이쇼우, 오토내비, 센스타임, 도요타 등 여러 기업과 모바일 운영업체와 양호한 협력 관계를 구축하였으며, 풍부한 기업 협력 및 인턴십 기회를 확보하고 있습니다.
연구실 홈페이지:https://fi.ee.tsinghua.edu.cn/
개인 홈페이지:https://fi.ee.tsinghua.edu.cn/~dingjingtao/
