최적의 성능을 달성하는 데 필요한 훈련 샘플은 5%뿐입니다. 청화대 연구팀은 장거리 인간 유동 시뮬레이션을 달성하기 위해 조건부 잡음 제거 확산 모델 SPDiff를 출시했습니다.

군중 시뮬레이션은 특정 상황에서 많은 사람들의 움직임을 시뮬레이션하는 과정입니다. 이 기술은 주로 컴퓨터 게임, 도시 계획, 건축 설계, 교통 조직에 사용됩니다. 예를 들어, 다양한 조건(군중 밀도, 흐름 등)에서 건물 내 사람들의 이동을 시뮬레이션하면 의사 결정자가 건물 설계를 평가하고 최적화하여 비상 대응 및 대피 효율성을 개선하는 데 도움이 됩니다.

이 분야는 많은 연구 진전을 이루었고 급속히 발전하고 있지만, 움직임, 감각 능력, 다양한 심리적 요인의 영향으로 인해 상황에 따라 개인의 행동이 복잡해집니다. 이렇게 다양한 인구 집단의 높은 계산 복잡성으로 인해 군중 시뮬레이션의 현실성을 제한하는 다양한 과제가 발생합니다.

칭화대학교 전자공학과 도시과학 및 계산연구센터, 칭화대학교 선전 국제대학원 유비쿼터스 데이터 강화를 위한 선전 핵심 실험실, 펑청 연구실의 연구원들은 최근 AAAI 2024에서 "군중 시뮬레이션을 위한 사회물리학 기반 확산 모델"이라는 제목의 논문을 발표했습니다.새로운 조건부 잡음 제거 확산 모델인 SPDiff가 제안되었는데, 이는 사회적 힘에 의해 안내되는 확산 과정을 통해 군중 행동을 시뮬레이션하기 위해 상호작용 역학을 효과적으로 활용할 수 있습니다.

다중 입자 동적 시스템의 운동 특성에서 영감을 받은 이 모델은 강력한 귀납적 동치성 편향을 통합하여 모델의 변환에 대한 일반화 능력을 향상시키고, 그 결과 더 나은 성능을 달성합니다. 또한, 이 모델은 모델 결과의 장거리 물리적 일관성을 보장하기 위해 확산 모델에 적합한 장거리 학습 알고리즘을 추가로 개발했습니다. 이 방법은 인간 이동성의 본질을 설명하는 사회적 힘 모델과 같은 사회 물리학 지식을 딥 러닝 모델의 설계에 포함시켜 지식과 데이터 협업을 기반으로 하는 연구 패러다임을 실현합니다.

논문 링크:

https://arxiv.org/abs/2402.06680

코드 링크:

https://github.com/tsinghua-fib-lab/SPDiff

공식 계정을 팔로우하고 "People flow movement"에 답글을 달면 전체 논문을 다운로드할 수 있습니다.

군중 이동의 이질성과 다원성

보행자 이동성 시뮬레이션은 특정 시나리오에서 많은 사람들의 이동을 미시적으로 시뮬레이션하는 과정으로, 주로 집단 상호작용이 군중 이동에 미치는 영향에 초점을 맞춥니다. 이 기술은 도시 계획, 건물 설계, 교통 관리 등의 분야에 주로 적용됩니다. 예를 들어, 공항이나 기차역 등 대중교통 환승역에서 사람들의 이동을 사실적으로 시뮬레이션하면, 많은 승객이 몰릴 때 환승역의 효율성과 안전성을 분석하는 데 도움이 되며, 나아가 건물 공간 설계의 최적화를 촉진합니다.

군중 이동에는 이질성과 다중 모드라는 두 가지 핵심 특징이 있습니다.

첫째, 군중 속의 개인 행동은 이질적이며, 개인의 선호도와 주변 환경의 영향을 받기 때문에 인간은 복잡한 시공간적 궤적을 만들어냅니다.예를 들어, 쇼핑몰에서 보행자는 각자의 관심사와 쇼핑몰의 배치에 따라 서로 다른 속도로 이동하고 서로 다른 경로를 따라갑니다. 이로 인해 사람들은 시간이 지남에 따라 변화하는 다양하고 복잡한 움직임 패턴을 만들어내며, 현실적인 궤적을 만들어냅니다.

초기 연구 방법에서는 사회 물리학 분야의 물리적 규칙에 기반한 모델을 사용하여 보행자 이동의 메커니즘을 설명하고, 사회적 힘 모델과 같은 이질적인 특성에서 보행자 이동의 본질적인 특성을 추출하려고 시도했습니다. 이러한 방법은 시뮬레이션된 궤적이 충분히 현실적이고 자연스럽지 않다는 문제가 있습니다.

두 번째로, 인간 행동의 본질적인 불확실성은 보행자 궤적의 불확실성으로 이어지며, 이를 인간 이동성의 다중 모드성이라고 합니다.초기 연구에서는 가우시안 분포를 사용하여 다중 모달리티를 모델링하는 등 궤적의 무작위 분포에 대한 가정을 단순화했으며, 이후 방법에서는 생성적 적대 신경망(GAN) 및 변형 자동 인코더(VAE)와 같은 생성 모델을 사용하여 다중 모달 샘플을 생성했습니다.

최근 몇 년 동안, 인기 있는 생성 모델인 확산 모델은 많은 생성 작업에서 최첨단 성능을 보여주었습니다. 현실적인 시뮬레이션을 달성하기 위해 본 연구에서는 위에서 논의한 주의가 필요한 두 가지 측면을 종합적으로 고려하여 복잡한 다중 모드 분포를 모델링하는 확산 모델의 탁월한 성능을 활용하고, 사회적 힘 모델이 나타내는 사회 물리학 지식을 활용하여 본 연구의 확산 모델 프레임워크를 설계하고자 했습니다.

확산 모델 + 다중 프레임 추론 학습 알고리즘: 장거리 이동 시뮬레이션 실현

관찰 데이터의 분포를 점진적으로 재구성하는 확산 모델과는 달리, 사회적 힘 모델은 군중의 움직임을 다중 입자 동적 시스템으로 변환하고 각 시간대의 각 보행자의 관찰 데이터에 물리적 제약을 직접 부과합니다.따라서 노이즈 제거 과정에서 이러한 지식을 노이즈가 있는 데이터에 대한 작업에 통합하는 것은 어렵습니다.

보행자 이동성 시뮬레이션에는 여러 보행자와 여러 시간대의 데이터 생성 작업이 포함됩니다. 기존 방법에서는 일반적으로 확산 모델을 활용해 전체 시퀀스를 한 번에 생성합니다. 그러나 이 연구의 문제에서 전체 시뮬레이션 궤적을 한 번에 생성하는 것은 각 시간대의 사회적 힘 모델과 결합하여 각 보행자를 효과적으로 안내할 수 없습니다.

더욱이 생성된 데이터의 차원이 높기 때문에 원샷 생성은 효율성과 효과성 문제가 발생할 수 있습니다. 그러므로,기존의 확산 모델 프레임워크의 경우, 시뮬레이션 결과의 안정성을 유지하면서 장기 시뮬레이션을 달성하는 것은 어려운 문제입니다.

위의 과제를 해결하기 위해 본 연구에서는 보행자 이동성 시뮬레이션을 위한 조건부 잡음 제거 확산 모델을 제안한다. 이 모델은 다음과 같은 특징을 가지고 있습니다.

* 사회적 힘 모델에서 통찰력을 얻어 소음 제거 프로세스를 안내하는 군중 상호 작용 모듈이 포함되어 있습니다.

* 다중 입자 동적 시스템에서 파생된 등변 속성을 통합하여 변환 전반에 걸쳐 모델의 일반화를 강화하고 데이터 효율성을 최적화합니다.

그림에서 보는 바와 같이,SPDiff는 그래프 네트워크를 사용하여 장면을 모델링합니다.그래프에서 각 보행자는 지향성 에지를 통해 시야 내의 주변 보행자 및 장애물과 상호 작용 관계를 구축합니다. 제안된 확산 모델은 그래프의 노드와 에지 정보, 과거 상태, 보행자 목적지 정보를 조건부 입력으로 사용하고, 확산 모델을 사용하여 다음 시간 프레임에서 보행자의 미래 가속도 분포를 샘플링하여 다음 순간의 모든 보행자 상태를 업데이트합니다. 이 과정을 반복하면 임의의 길이의 행동 시뮬레이션을 달성할 수 있습니다.

확산 모델 잡음 제거 네트워크를 설계할 때, 인간 움직임에 대한 물리적 지식을 확산 모델에 통합하기 위해 원래의 사회적 힘 모델을 기반으로 신경망 모델을 구축하고 핵심 용어를 대체했습니다. 종점에서의 견인력은 다음 공식을 통해 직접 계산할 수 있습니다.이를 바탕으로 그래프 네트워크(GN) 알고리즘을 사용하여 보행자 상태에서 사회적 힘 예측까지의 과정을 실현합니다.

또한 보행자 상호 작용은 동등합니다. 즉, 보행자로 구성된 입자와 같은 시스템이 변환됨에 따라(예: 이동 및 회전) 상호 작용도 동일한 변환을 겪거나 변경되지 않습니다. 이러한 물리적 특성을 통합하기 위해서는상호작용 정보는 일련의 등가 그래프 합성 계층(EGCL)을 통해 처리되어 모델의 학습 효율성과 물리적 일관성을 개선합니다.

마지막으로, 각 보행자의 과거 이동 상태는 LSTM(장단기 신경망)을 통해 처리됩니다. 역사 처리 모듈의 도입은 인간이 에너지를 절약하기 위해 운동 상태의 과도한 변화를 피하는 경향이 있다는 사전 인식에 기인합니다.

물리적으로 일관된 장거리 동작 시뮬레이션을 달성하기 위해 이 연구에서는 다중 프레임 추론 훈련 알고리즘을 추가로 설계합니다.아래 그림에서 보듯이, 확산 모델은 훈련 중에 정의된 시간 창 내에서 궤적을 시뮬레이션하고 누적 오차를 손실 함수로 계산하여 경사 하강법으로 모델 매개변수를 업데이트합니다. 이러한 학습 과정은 장거리 시뮬레이션에서 물리적 일관성을 무시하는 모델의 근시안적 행동을 처벌하여 모델이 장거리 시뮬레이션으로 일반화될 수 있도록 합니다.

실험 결과: 최적의 성능을 달성하려면 5% 훈련 데이터만 필요합니다.

이 모델의 효과를 평가하기 위해,본 연구에서는 GC 데이터와 UCY 데이터 세트라는 두 가지 실제 데이터 세트를 소개합니다.두 데이터 세트는 장면, 규모, 기간, 보행자 밀도가 다르며, 이를 사용하여 모델의 일반화 성능을 검증할 수 있습니다.

이 연구에서는 기준 방법을 세 가지 범주로 분류했습니다.

* 물리 기반 방법(사회적 힘 모델 SFM, 셀룰러 오토마타 CA)

* 순수 데이터 기반 방법(STGCNN, PECNet, MID) 

* 물리적 지식 통합 방법(PCS, NSP)

비교 실험을 통해 제안된 방법이 가장 진보된 기준 방법보다 성능이 상당히 향상됨이 확인되었습니다.미시 지표(MAE, DTW)와 거시 시뮬레이션 진위 지표(OT, MMD)를 살펴보면 개선 폭은 6%에서 37% 사이입니다.

각 시간대에서 시뮬레이션 정확도 성능을 더욱 자세히 알아보기 위해 이 실험에서는 시뮬레이션 시간대에 따라 지표가 어떻게 바뀌는지 살펴봅니다. 지표는 시간이 지남에 따라 번갈아 가며 상승과 하락을 반복하는 진동적 변화를 보이는 것을 볼 수 있습니다. 즉, 다중 정점 현상이 발생합니다. 증가는 장거리 시뮬레이션 동안 누적된 오류에 기인할 수 있으며, 감소는 세 가지 모델 모두 보행자를 끝점으로 "끌어당기기" 때문일 수 있습니다.

전반적으로, 제안된 방법은 다른 두 기준선과 비교하여 장기간에 걸쳐 더 낮은 오차를 유지할 수 있으며, 이는 이 방법의 시뮬레이션 정확도를 반영합니다.

이 연구에서는 방법의 각 핵심 설계가 성능 향상에 기여하는 바를 더욱 자세히 알아보고, 사회-물리적 지식 융합 없이, 이력 처리 모듈 없이, 다중 바늘 추론 훈련 알고리즘 없이 모델의 성능을 검증했습니다.

아래 그림의 실험 결과는 다음과 같습니다.어느 한 구성 요소를 제거하면 모델 성능이 어느 정도 저하되는데, 이는 각 설계 그룹의 효과성을 증명합니다.사회 물리학 지침과 관련된 설계를 제거하면 모델 성능 손실이 가장 큰 것으로 나타났으며, 이는 군중 시뮬레이션에 사회 물리학 지식을 통합해야 할 필요성을 반영합니다.

마지막으로, 본 논문에서는 군중 상호작용 모듈에서 등가 설계로 인해 도입된 귀납적 편향이 성능에 미치는 영향을 연구합니다. 등가 그래프 합성곱 계층이 비등가 네트워크로 저하되면, 서로 다른 학습 데이터 양과 학습 주기에 따른 모델의 성능 변화가 탐구됩니다. 그림에서 볼 수 있듯이,등가 그래프 신경망을 사용하는 모델은 거의 모든 학습 샘플 비율에서 등가가 아닌 모델을 사용하는 모델보다 지속적으로 우수한 성과를 보입니다. 훈련 데이터 중 5%만 사용하더라도 원래 모델은 여전히 뛰어난 성능을 유지합니다.

구체적으로, 훈련 샘플 비율이 5%일 때, SPDiff의 MAE 지수는 훈련 샘플 비율 100%와 비교해 거의 감소하지 않았으며, 최대 감소량도 2.5%에 불과했습니다. 비등가 설계와 비교했을 때, 등가 설계는 MAE 지수를 최대 13.2%까지 개선하고 OT 지수를 최대 22%까지 개선합니다. 이는 이 논문에서 제안하는 모델이 등가 설계의 도움으로 적은 수의 샘플만으로 많은 양의 데이터를 학습한 것과 동일한 일반화 능력을 얻을 수 있음을 보여줍니다.

결론

본 논문에서는 조건부 잡음 제거 확산 모델을 기반으로 보행자의 움직임을 시뮬레이션하는 새로운 방법을 제안한다. 물리적으로 유도되는 조건부 확산 과정을 통해, 이 모델은 군중 이동에 대한 알려진 상태 정보를 효과적으로 활용하여 보행자 이동을 시뮬레이션할 수 있습니다.

잘 알려진 사회적 힘 모델에서 영감을 얻어 제안된 등가적 군중 상호작용 설계와 다중 프레임 추론 훈련 알고리즘은 각각 거시 및 미시 수준에서의 시뮬레이션 신뢰성 문제와 장거리 시뮬레이션의 안정성 문제를 해결합니다. 이 방법은 인간 이동성 연구에 생성적 모델링을 도입하고 사회 물리학 지식과 생성적 심층 모델의 결합을 탐구합니다.

행동 촉구

HyperAI는 과학을 위한 AI에 초점을 맞춘 최초의 오픈 커뮤니티 중 하나입니다. 국내외의 첨단 논문을 해석하여 최신 연구 결과를 지속적으로 공유하고 홍보하고 있습니다.

AI for Science를 주제로 연구 및 탐구를 진행 중인 연구 그룹 및 팀은 최신 연구 결과를 공유하고, 심층적인 해석 논문을 제출하기 위해 저희에게 연락해 주세요. AI4S를 홍보할 수 있는 더 많은 방법이 저희와 함께 모색되기를 바랍니다!

WeChat 추가: HyperaiXingXing (WeChat ID: Hyperai01)