작은 모델, 큰 돌파구! 신경망은 공간적 이질성을 꿰뚫어보고 복잡한 지리적 현상을 정확하게 설명합니다.
AI4S의 보편화를 촉진하기 위해, 학술기관의 과학연구 결과의 보급장벽을 낮추고, 더 많은 산업계 학자, 기술 애호가, 산업계 단위를 위한 소통 플랫폼을 제공합니다.HyperAI는 라이브 방송의 "AI4S를 만나다" 시리즈를 기획했습니다.과학을 위한 AI 분야에 깊이 관여하고 있는 연구자나 관련 부서를 초대하여 영상 형식으로 연구 결과, 방법 및 아이디어를 공유해 보세요.
"AI4S를 만나다" 시리즈의 첫 번째 생방송 에피소드에서는저장대학교 원격탐사 및 지리정보시스템 박사과정 학생인 Ding Jiale을 초대하게 되어 영광입니다.그가 근무하는 저장성 자원 및 환경 정보 시스템 중점 실험실에서는 디지털 지구 및 지리 정보 시스템, 원격 감지 및 GPS 등 국가 첨단 기술 분야에서 많은 고부가가치 연구 성과를 발표했습니다.
이 공유는,딩 지얼 박사는 "신경망이 주택 가격의 공간적 이질성에 대한 새로운 설명을 제공한다"라는 제목으로 연설했습니다.최신 연구 결과를 공유했습니다. 본 연구에서는 신경망에 의해 최적화된 공간적 근접성 측정(OSP)과 지리적 신경망 가중 회귀 방법을 결합하여 osp-GNNWR 모델을 구축했습니다. 종속변수와 독립변수 사이의 공간적 비정상 회귀 관계를 풀어서 신경망 학습을 실현하고, 이를 통해 복잡한 공간적 과정과 지리적 현상을 보다 정확하게 설명할 수 있습니다.
전체 라이브 리플레이를 보려면 여기를 클릭하세요⬇️
https://www.bilibili.com/video/BV14W42197on
하이퍼AI는 딩지얼 박사의 심도 있는 공유 내용을 원래 의도를 훼손하지 않고 편집하고 요약했습니다.
모델 해석 가능성 관점에서 과학의 미래 발전 촉진
지리 과학을 탐구하는 사람으로서, 우리가 만들어낸 모델이 단지 주택 가격만을 예측할 수 있다면, 그런 결과는 지루할 것입니다.우리가 추구하는 것은 이러한 모델이 출력하는 일련의 회귀 계수를 사용하여 지리적 과정이나 패턴에 대한 합리적인 과학적인 설명을 만드는 것입니다. 이 계수는 공간적 위치에 따라 달라집니다.이런 연구는 더욱 미래지향적이고 실용적이다. 오늘 제가 "신경망이 주택 가격의 공간적 이질성에 대한 새로운 설명을 제공한다"라는 주제를 선택한 것은 바로 이러한 비전에 따른 것입니다.
얼마 전 저희 팀은 "지리적 가중 회귀 분석에서 공간적 근접성 측정을 최적화하기 위한 신경망 모델: 우한의 주택 가격에 대한 사례 연구"라는 제목의 연구 논문을 지리 정보 과학 분야의 유명 저널인 International Journal of Geographical Information Science에 게재했습니다.
종이 주소:
https://www.tandfonline.com/doi/full/10.1080/13658816.2024.2343771
이 연구에서는 관찰 지점 간의 여러 공간적 근접성 측정(유클리드 거리, 이동 시간 등)을 비선형적으로 결합하는 신경망 방법을 도입했습니다.최적화된 공간적 근접성 측정(OSP)을 얻어 모델의 주택 가격 예측 정확도를 향상시킵니다.
추상적인 "공간적 근접성"이 손실 함수를 구성할 수 없고 신경망을 훈련하기 어려운 문제를 해결하기 위해 우리는 OSP와 지리적 신경망 가중 회귀(GNNWR) 방법을 결합합니다.osp-GNNWR 모델이 구축되었습니다.신경망 학습은 종속변수와 독립변수 사이의 공간적 비정상 회귀 관계를 풀어서 달성됩니다. 궁극적으로, 이 모델은 더 나은 글로벌 성능을 가지고 있으며, 복잡한 공간적 과정과 지리적 현상을 더 정확하게 설명하는 것으로 나타났습니다.
다음으로, 이 결과를 예로 들어 신경망이 주택 가격의 공간적 이질성에 대한 새로운 설명을 제공하는 구체적인 과정을 여러분과 공유해 드리겠습니다.
연구 배경: 이중 과제 하에서 과학 연구 혁신
"공간적 이질성"은 주택 가격 변동을 유발하는 주요 요인이지만, 단일 거리 측정 방법으로는 복잡한 지리적 환경에서 주택 가격의 "공간적 이질성"을 포착하기에 충분하지 않습니다. 기존의 지리적 가중 회귀 모델(GWR) 역시 공간적 근접성을 측정하는 데 어려움을 겪습니다. 우리가 이 연구를 수행하기로 결정한 것은 바로 이러한 요인 때문입니다.
공간적 이질성: 다른 공간에서의 다른 표현
먼저, 공간적 이질성과 지리적 가중 회귀에 대한 배경을 설명하겠습니다.
일반 선형 회귀 모형 OLS는 변수의 회귀 관계를 결정하는 데 가장 일반적으로 사용되고 기본적인 통계적 방법입니다. 종속변수와 여러 독립변수 간의 관계를 설명하기 위해 매우 간결한 공식을 사용합니다. 아래 그림에서 보듯이 y는 절편 항과 여러 회귀 계수와 독립 변수의 곱에 해당합니다.
OLS와 같은 통계적 방법을 지리학에 적용하면,일부 지리적 문제의 본질적인 공간적 특성을 고려하는 것이 종종 필요합니다.이로 인해 공간 통계 및 시공간 모델링에 대한 관련 연구가 시작되었습니다.
일반적인 선형 회귀 모형은 회귀 계수가 표본 데이터의 공간적, 시간적 위치와 무관하며, 계산된 독립변수의 계수는 연구 지역의 평균 수준이라고 가정합니다.
하지만,실제 지리적 과정에서의 회귀 관계는 다양한 공간적 위치에서 차이를 보일 것입니다.주택 가격을 예로 들면, 도심과 교외에 있는 같은 규모의 주택의 주요 영향 요인이 다르기 때문에 이들의 회귀 관계도 다른 형태를 갖는다.우리는 이러한 특징적인 공간적 이질성(공간적 비정상성)을 부릅니다.
공간적 이질성은 지리적 요소들 간의 관계를 설명하는 고유한 특성이며, 서로 다른 시간적, 공간적 위치에서 지리적 요소들의 관계 또는 구조가 다르게 표현되는 것입니다. 즉, 서로 다른 공간적 위치에서 데이터 생성 메커니즘이 다르며, 이는 해당 회귀 모델의 형태로 나타나거나 매개변수가 공간적 위치에 따라 변경됩니다.
지리적 가중 회귀: 커널 함수를 통해 공간적 근접성에서 가중치로 변환
지리적 가중 회귀 분석(GWR)은 미국의 학자 A. 스튜어트 포더링엄이 제안한 공간적으로 이질적인 과정을 모델링하는 방법입니다.
아래 그림의 공식을 보면, GWR의 전체적인 형태는 여전히 선형 회귀 관계이지만, 절편항과 회귀계수는 좌표 위치 (ui, vi)와 사상 관계가 되었음을 알 수 있습니다. 즉, 다른 좌표 위치에서는 회귀 관계가 다릅니다.전체 공식에 반영된 회귀 관계도 공간적 위치에 따라 달라집니다.
GWR의 회귀 계수는 결정하기 어렵습니다.현재 가장 일반적으로 사용되는 해결 방법은 가중 최소 제곱법을 사용하여 해결하는 OLS와 유사합니다.
아래 그림의 공식에서 대각선 가중치 행렬 W는 샘플에 가중치를 부여하는 데 사용되며, 이는 독립 변수 간의 공간적 상관관계를 반영할 수 있습니다. 구체적으로,샘플 간의 가중치는 샘플의 공간적 근접성을 기반으로 계산됩니다.두 지점이 공간상에서 가까울수록 상관관계가 강해집니다. 우리는 더 큰 가중치를 할당하고 이를 사용하여 모델을 구축할 것입니다.
공간적 근접성을 무게로 변환하는 방법은 무엇입니까?GWR은 가우시안 커널 함수, 비스퀘어 커널 함수 등의 커널 함수를 사용하여 공간적 근접성을 가중치로 변환하고, 이를 통해 가중 방정식을 구성합니다. 그러나 이러한 접근 방식에는 몇 가지 한계가 있습니다.
과거에는 공간적으로 이질적인 과정을 모델링하는 핵심은 시공간적 근접성 측정을 기반으로 시공간적 가중치 커널 함수를 설계하고 구성한 다음, 국소적 가중 회귀 이론을 사용하여 비정상적 목표 솔루션 함수를 설정하는 것이었습니다. 모델 평가 기준을 최적으로 해결함으로써 시공간적 비정상 관계에 대한 지리적 모델링이 달성되었습니다.
이 방법에 대한 기존 연구 역시 커널 함수의 사용 범위를 구체화하고, 여러 대역폭 매개변수를 갖춘 하이브리드 커널 모델을 구축하는 데 중점을 두고 있습니다.그러나 커널 함수 자체의 구조 개선 및 개발은 무시됩니다.예를 들어, 단일 매개변수 분석을 핵심으로 하는 기존 커널 함수 구조 체계는 비교적 단순하여, 시공간적 근접성이 시공간적 가중치에 미치는 복잡한 효과를 완전히 추정하기 어렵고, 이로 인해 복잡한 지리적 관계의 시공간적 비정상적 특성을 정확하게 해결할 수 없습니다.
최근 몇 년 동안 빅데이터가 지속적으로 발전함에 따라, 우리는 빅데이터 환경에서 방대한 데이터의 장점을 최대한 활용하고 딥 신경망의 비선형 피팅 능력을 효율적으로 활용해야 합니다.신경망을 사용하여 공간적 이질성을 설명하는 것은 현재 시공간적 관계 모델링 방법의 개발 딜레마에 대한 실행 가능한 해결책입니다.
신경망을 사용하여 공간적 이질성을 설명할 수 있는 방법은 무엇인가?
SWNN과 GNNWR의 융합은 일반화 능력이 더 강하다
이전에 우리는 심층 신경망(공간 가중 신경망 SWNN)을 사용하여 각 위치의 샘플에 일련의 공간 가중치를 할당하는 지리적 신경망 가중 회귀 모델 GNNWR을 제안했습니다.
GNNWR 신문 주소:
https://doi.org/10.1080/13658816.2019.1707834
구체적으로, SWNN은 각 샘플 지점에서 다른 샘플 지점까지의 거리 벡터를 입력으로 받고 해당 위치에서의 일련의 공간 가중치, 즉 가중치 행렬 W를 출력합니다.이를 통해 공간적 이질성을 표현할 수 있습니다.
더 작은 표본에 대한 강력한 일반화 능력을 갖추고 모델 학습을 더 빨리 수렴시키기 위해 GNNWR 방법을 사용합니다.SWNN에서 출력된 가중치는 OLS 사전에서 얻은 전역 회귀 계수에 곱해집니다.공간적 이질성에 대한 회귀 계수가 형성되었습니다.
위 그림의 회귀 방정식을 보면, 회귀 방정식은 독립변수, 전역 회귀계수, 관측지점의 공간적 비정상 조정 매개변수로 구성되어 있음을 알 수 있다. 이를 바탕으로 우리는 공간적 비정상 과정을 해결하기 위해 신경망을 기반으로 한 공간 회귀 모델을 확립했습니다.
신경망을 사용하여 공간 근접성 측정 최적화
앞서 언급했듯이 SWNN은 각 샘플 지점에서 다른 샘플 지점까지의 거리 벡터를 입력으로 받습니다. 이 과정에서는 일반적으로 유클리드 거리를 사용합니다.예를 들어, 공간상의 두 지점을 연결하는 선의 길이는 거리의 측정 기준으로 사용됩니다.이것은 거리를 표현하는 가장 직관적이고 이해하기 쉬운 방법입니다.
그러나 도시 환경에서는유클리드 거리는 자연 및 교통 상황에 영향을 받으며 실제 공간적 근접성을 반영하기 어렵습니다.예를 들어, 반대편의 첸탕강으로 가고 싶다면 고속도로 다리를 이용할 수 없다면 큰 우회로를 거쳐 강을 건너야 합니다. 이 경우 두 점 사이의 직선 거리는 매우 가깝지만 실제 공간에서는 매우 멀리 떨어져 있으며, 유클리드 거리는 두 점의 공간적 근접성을 완전히 반영할 수 없습니다.
실제 세계에서는 자연경관과 인공물에 의해 제약을 받기 때문에 사람과 물자의 교환은 종종 도로 교통망에 의존합니다.도로망 거리(ND)와 이동 시간(TD)도 적절한 공간적 근접성 측정 기준입니다.
하지만,교통 규제 및 도로 용량 제한으로 인해동일한 도로망 거리와 동일한 여행 시간이 나타내는 공간적 근접성은 동일하지 않습니다. 예를 들어, 같은 13분 동안 운전한다고 해도 캠퍼스 내 속도 제한으로 인해 짧은 거리만 운전할 수 있지만, 고가도로라면 장거리를 운전할 수 있습니다.
따라서 단일한 공간적 근접성 측정 방법을 사용하면 특정한 한계가 있을 것입니다. 그러므로,우리는 여러 거리 측정 항목을 결합하여 공간적 근접성을 최적으로 표현하는 거리 융합 함수를 구축하려고 시도합니다.
위의 방정식에 따르면 두 지점 사이의 여러 "거리"를 결합하여 두 지점 사이의 실제 공간적 근접성을 나타내는 더 정확하고 나은 값을 형성합니다.
하지만 이 방정식에는 문제점도 있습니다. fsp는 여러 차원에서 통합되어야 하는 거리 표현입니다. 예를 들어, 이동 시간과 유클리드 거리의 단위는 다르며, 크기 순서도 상당히 다를 수 있습니다. 일반적인 기능에만 의존해서는 결합 효과를 충분히 얻을 수 없습니다. 이와 관련하여,우리는 공간 근접 신경망 SPNN을 구축했습니다.이러한 거리를 통합된 공간적 근접성 측정 기준으로 매핑합니다.
이후 이 신경망을 훈련함으로써 특정 함수의 계산을 데이터 기반 피팅 프로세스로 변환할 수 있습니다. 이는 신경망을 사용하여 공간적 근접성을 최적화한다는 우리의 아이디어입니다.
두 개의 신경망을 연결하여 osp-GNNWR을 형성합니다.
공간적 근접성은 추상적인 개념이고 실제 값이 없기 때문에, 예를 들어 점 a와 점 b가 주어졌을 때, a와 b 사이의 공간적 근접성을 명확한 값 x라고 말할 수 없습니다. 이로 인해 SPNN의 손실 함수를 정의하고 이를 훈련하는 것이 불가능해집니다.
우리의 솔루션은 다음과 같습니다.SPNN의 출력은 GNNWR의 거리 입력으로 직접 사용되고, 두 신경망은 통합된 전체를 형성하도록 연결됩니다. 이를 최적화된 공간적 근접성 측정 지리 네트워크 가중 회귀(osp-GNNWR)라고 합니다.
이 모델에 따르면 표본 추정값의 오차를 통해 전체 네트워크를 직접 학습시킬 수 있으며, 적합값의 오차와 최종 종속변수 y의 합산값을 손실 함수로 사용하여 네트워크를 직접 학습시킬 수 있습니다. 네트워크 전체가 훈련되고, SPNN도 동시에 훈련되어 SPNN 문제가 해결되고 회귀 과제가 완료됩니다.
우한 주택 가격을 예로 들면, osp-GNNWR은 주택 가격의 공간적 이질성에 대한 새로운 설명을 제공합니다.
우한 주택 가격을 예로 들면,우리는 우한에서 968개의 독립적인 중고 주택 거래 데이터를 선택하여 85:15의 비율로 훈련 세트와 테스트 세트로 나누었습니다.이러한 자료로부터 주택 가격 모델링에 일반적으로 사용되는 특성 가격 방법을 사용하여 이들 주택의 기본 정보, 주변 지원 시설, 교통 편의성 등을 포함하여 세 가지 범주의 10개 독립 변수를 선정했습니다. 이를 기반으로 SPNN의 입력 거리로 유클리드 거리와 이동 시간을 선택하여 osp-GNNWR 모델을 구축했습니다.
아래 그림과 같이 최적화된 공간 근접성 측정법의 경우, 그림의 각 점의 색상은 피팅 결과의 잔여 차이를 나타냅니다. 주황색은 osp-GNNWR의 적합 효과가 원래 GNNWR 모델보다 더 좋다는 것을 의미합니다. 선은 최적화된 공간적 근접성과 유클리드 거리의 차이를 나타냅니다.
그림 a에서 볼 수 있듯이 도시 외곽 지역에서는 OSP와 유클리드 거리의 차이가 크고 도로망 구조의 영향으로 어느 정도 방향성 차이가 있습니다. 특히, 붉은색 화살표 방향에서 차이가 더 적은 것을 볼 수 있는데, 이는 주로 이 방향이 우한시의 2환 고속도로와 일치하기 때문입니다.이는 OSP를 구성하는 데 사용된 유클리드 거리와 이동 시간의 차이가 작기 때문입니다.
그림 b에서 볼 수 있듯이 도심 지역은 교통 시설이 잘 발달되어 있어 어느 방향으로 가든지 각 방향의 공간적 근접성이 비교적 균형을 이루고 있다.따라서 osp와 유클리드 거리의 차이는 더 규칙적인 동심원 분포를 보입니다.
OSP와 유클리드 거리의 이러한 차이점을 통해또한 우리는 공간적 근접성 측정을 최적화하는 것의 실질적 중요성을 입증할 수 있었습니다.
주택 가격의 모델링 결과를 바탕으로, 대학과의 거리가 주택 가격에 미치는 영향을 연구하는 등 회귀 계수의 공간적 이질성에 대해 더욱 논의할 수 있습니다.
아래 그림에서 볼 수 있듯이, 우한시 홍산구 중심부의 UA 매개변수는 다른 지역에 비해 상당히 높습니다.이는 대학이 해당 지역의 주택 가격에 긍정적인 영향을 미친다는 것을 보여줍니다.즉, 교육기관에 가까울수록 주택 가격이 높아진다. 또한, 이러한 대학과 연구 기관은 더 나은 생활 환경을 가져왔고, 더욱 번영하는 임대 시장을 만들어냈습니다.
작은 모델도 큰 의미를 갖는다
위의 연구에서는 대형 모델을 사용하지 않았습니다. 대규모 신경망 모델, 딥 네트워크 모델 등이 현재 매우 인기가 있지만, 소규모 모델도 여전히 실용적인 의미가 있습니다. 충분한 컴퓨팅 능력이나 풍부한 데이터 세트 샘플이 없는 경우, 작고 아름다운 모델을 설계하는 것은 특정 문제를 해결하는 데 큰 도움이 될 수 있습니다.
마지막으로 몇 가지 참고자료를 소개합니다. 관심이 있으시면, 이것도 확인해보시기 바랍니다.
행동 촉구
HyperAI(hyper.ai)는 데이터 과학 분야에서 중국 최대의 검색 엔진입니다. 이 회사는 오랫동안 AI for Science의 최신 연구 결과에 집중해 왔으며, 최고 저널에 실린 100편 이상의 학술 논문을 해석해 왔습니다.
과학을 위한 AI에 대한 연구와 탐구를 진행하는 연구 그룹과 팀은 최신 연구 결과를 공유하고, 심층적인 해석 논문을 기고하고, Meet AI4S 라이브 방송 칼럼에 참여하기 위해 저희에게 연락해 주시기 바랍니다. AI4S를 홍보할 수 있는 더 많은 방법을 함께 탐색해 보세요!
WeChat 추가: HyperaiXingXing (WeChat ID: Hyperai01)