HyperAI超神经

AI4Sの普遍化を推進する、学術機関の科学研究結果の普及障壁を低くし、より多くの業界学者、技術愛好家、産業部門にコミュニケーションプラットフォームを提供します。HyperAIでは、生放送コラム「Meet AI4S」シリーズを企画しました。AI for Science の分野に深く関わっている科学研究者や関連部門を招待し、研究結果や方法論的なアイデアをビデオの形式で共有します。

生放送シリーズ「Meet AI4S」の第1話では、幸いなことに、浙江大学からリモートセンシングと地理情報システムの博士課程の学生である丁佳楽氏を招待します。彼が勤務する浙江省資源・環境情報システム重点研究所は、デジタルアースや地理情報システム、リモートセンシング、全地球測位システムなどの国家ハイテク分野で価値の高い研究成果を多数発表している。

この共有、丁佳楽博士は「ニューラルネットワークが住宅価格の空間的不均一性を新たに説明する」というテーマで講演した。最新の研究結果を共有しました。この研究では、ニューラルネットワークによって最適化された空間近接測度 (OSP) と地理的ニューラルネットワークの重み付け回帰法をさらに組み合わせて、従属変数間の空間的非定常回帰関係を解くことによってニューラルネットワークを実現する osp-GNNWR モデルを構築しました。独立変数を使用すると、ネットワークトレーニングにより、複雑な空間プロセスと地理的現象をより正確に記述することができます。

クリックすると完全なライブリプレイが表示されます⬇️

https://www.bilibili.com/video/BV14W42197on

HyperAI Super Neural は、丁 Jiale 博士のこの詳細な共有を、当初の意図に違反することなく編集し、要約しました。

モデルの解釈可能性に基づいて将来の科学の発展を促進する

地理科学の研究者として、私たちが立ち上げたモデルが単に住宅価格を予測するだけであれば、そのような結果は面白くないと私は考えます。私たちが追求しているのは、空間的位置に応じて変化するこれらのモデルによって出力される一連の回帰係数を使用して、地理的プロセスまたは地理的パターンについて合理的な科学的説明を行うことです。このような研究はより先進的で実用的です。このビジョンに基づいて、私が今日共有するトピック「ニューラルネットワークが住宅価格の空間的不均一性を新たに説明する」を選択しました。

少し前に、私たちのチームは、「地理的加重回帰アプローチにおける空間的近接性の尺度を最適化するニューラルネットワークモデル: 武漢の住宅価格に関するケーススタディ」というタイトルの論文を、有名な国際地理情報科学ジャーナルに発表しました。地理情報科学分野の研究論文。
紙のアドレス:
https://www.tandfonline.com/doi/full/10.1080/13658816.2024.2343771

本研究では、観測点間の複数の空間的近接尺度（ユークリッド距離、移動時間など）を非線形結合するニューラルネットワーク手法を導入しました。最適化された空間近接測定 (OSP) が得られるため、モデルによる住宅価格の予測の精度が向上します。

抽象的な「空間的近接性」では損失関数を構築できず、ニューラルネットワークのトレーニングが難しいという問題を解決するために、OSP と地理的ニューラルネットワーク加重回帰 (GNNWR) 法をさらに組み合わせます。osp-GNNWR モデルが構築されました。ニューラルネットワークのトレーニングは、従属変数と独立変数の間の空間非定常回帰関係を解くことによって実現されます。最終的に、このモデルは地球規模でのパフォーマンスが向上し、複雑な空間プロセスや地理的現象をより正確に記述できることが証明されました。

次に、この結果をケースとして使用して、住宅価格の空間的不均一性について新しい説明を提供するニューラルネットワークの具体的なプロセスを共有します。

研究の背景: 二重の課題の下での科学研究のブレークスルー

「空間的不均一性」は住宅価格の変動を引き起こす重要な要因ですが、複雑な地理的環境における住宅価格の「空間的不均一性」を把握するには単一の距離測定方法には限界があります。従来の地理的加重回帰モデル (GWR) では空間的近接性を測定できません。 . 時には課題もあります。私たちがこの研究を実施することを選択したのは、これらの要因のためです。

空間的異質性: 異なる空間での異なる表現

まず、空間的異質性と地理的加重回帰について背景を説明します。

通常の線形回帰モデル OLS は、変数の回帰関係を決定するために最も一般的に使用される基本的な統計手法です。次の図に示すように、非常に単純な式を使用して、y は次のようになります。切片項に複数の回帰係数と独立変数の積を加えたものに等しい。

OLS などの統計手法を地理に適用すると、一部の地理的問題に固有の空間特性を考慮することが必要になる場合がよくあります。その結果、空間統計と時空間モデリングに関する関連研究が生まれました。

通常の線形回帰モデルでは、回帰係数はサンプルデータの空間的および時間的位置とは無関係であり、計算された独立変数係数は調査地域の平均レベルであると想定されます。

しかし、実際の地理的プロセスにおける回帰関係は、異なる空間的位置における違いを示します。住宅価格を例にとると、同じ広さの住宅であっても、都心部と郊外では主な影響要因が異なるため、回帰関係の形も異なります。この特徴を空間的不均一性 (空間的非定常性) と呼びます。

空間的異質性は、地理的要素の関係の記述に固有の特性であり、異なる時空間位置における地理的要素の関係または構造の差異表現です。これは、異なる空間位置でデータの生成メカニズムに違いがあり、対応する回帰モデルの形式に現れるか、パラメーターが空間位置に応じて変化することを意味します。

地理的重み付け回帰: カーネル関数による空間的近接性から重みへの変換

地理的加重回帰 (GWR) は、アメリカの学者 A. Stewart Fotheringham によって提案された、空間的に不均一なプロセスのモデリング手法です。

下図の式からわかるように、GWR の全体的な形は依然として線形回帰関係ですが、その切片項と回帰係数は座標位置 (ui、vi) との写像関係になります。つまり、座標位置が異なると回帰関係も異なります。式全体に反映される回帰関係も、空間的な位置によって異なります。

GWR の回帰係数を決定するのは困難です。現在最も一般的に使用されている解決方法は、加重最小二乗法を使用して解決する OLS に似ています。

以下の式では、対角重み行列 W を使用してサンプルに重みを付けます。これは、独立変数間の空間相関を反映できます。具体的には、サンプル間の重みは、サンプルの空間的近接性に基づいて計算されます。空間内の 2 つの点が近ければ近いほど、相関関係は強くなります。そのため、より大きな重みを割り当て、それに応じてモデル化します。

空間的近接性から重量への変換をどのように達成するのでしょうか?GWR は、ガウスカーネル関数、二重二乗カーネル関数などのカーネル関数を使用して、空間的近接性を重みに変換し、重み方程式の構築を実現します。ただし、このアプローチには一定の制限があります。

これまで、空間的に不均一なプロセスをモデル化する鍵は、時空間位置の近接性 (Proximity) 測定に基づいて時空間重みカーネル関数を設計および構築し、次に局所加重回帰理論を使用して非定常ターゲット解関数を確立することでした。モデルを通じて、時空間非定常関係の地理モデリングを達成するための評価基準の最適な解決策。
この方法を改善するための既存の研究も、カーネル関数の使用範囲を改良し、複数の帯域幅パラメータを含むハイブリッドカーネルモデルを確立することに焦点を当てています。ただし、カーネル関数自体の構造の改善と開発は無視されています。例えば、単一パラメータ解析を核とする既存のカーネル関数構造システムは比較的単純であり、時空間的近接性が時空間重みに及ぼす複雑な影響を完全に推定することが困難であり、その結果、時空間非定常特性を正確に解決することができない。複雑な地理的関係。

近年のビッグデータの発展に伴い、ビッグデータ環境において大量データの利点を最大限に発揮し、ディープニューラルネットワークの非線形フィッティング機能を効率的に活用する必要があります。ニューラルネットワークを使用して空間的不均一性を説明することは、時空間関係モデリング手法の開発における現在のジレンマに対する実現可能な解決策です。

ニューラルネットワークを使用して空間的不均一性を考慮するにはどうすればよいでしょうか?

SWNN を統合した GNNWR はより強力な汎化能力を備えています

以前に、我々は地理的ニューラルネットワーク重み付け回帰モデル GNNWR を提案しました。これは、ディープニューラルネットワーク (空間重み付けニューラルネットワーク SWNN) を使用して、各位置のサンプルに一連の空間重みを割り当てます。
GNNWR 論文アドレス:
https://doi.org/10.1080/13658816.2019.1707834

具体的には、SWNN は各サンプル点から他のサンプル点までの距離ベクトルを入力として受け取り、その位置における一連の空間重み (重み行列 W) を出力します。これにより、空間的不均一性の表現が可能になります。

より小さなサンプルで強力な一般化能力を持ち、モデルトレーニングのより高速な収束を可能にするために、GNNWR メソッドでは、SWNN によって出力された重みと、事前に OLS によって取得されたグローバル回帰係数を組み合わせます。空間的不均一性の回帰係数が形成されます。

これは、上図の回帰式から求めることができます。回帰式は、独立変数、グローバル回帰係数、および観測点における空間的に非定常な調整パラメータで構成されます。これに基づいて、空間非定常プロセスを解決するためのニューラルネットワークに基づく空間回帰モデルを確立しました。

ニューラルネットワークを使用した空間的近接性測定の最適化

前述したように、SWNN は各サンプルポイントから他のサンプルポイントまでの距離ベクトルを入力として受け取ります。このプロセスでは通常、ユークリッド距離を使用します。たとえば、空間内の 2 点を結ぶ線の長さを距離の尺度として使用すると、最も直感的でわかりやすい距離表現方法です。

しかし、都市環境では、ユークリッド距離は自然条件や交通条件の影響を受けるため、実際の空間的近接性を反映するのは困難です。たとえば、銭塘江の対岸に行きたい場合、高速道路の橋を渡れないと、ぐるっと回って渡らなければなりません。この場合、2 点間の直線距離は非常に近いですが、実際の空間では 2 点は非常に離れており、ユークリッド距離は空間的な近接性を完全に反映できません。

現実の世界では、自然の景観や人工物によって制限され、人や物の交換は道路交通網に依存することがよくあります。道路網の距離 (ND) と移動時間 (TD) も、空間的近接性の尺度として適切です。

しかし、交通規制や道路容量の制限により、同じ長さの道路網の距離と同じ長さの移動時間は、異なる空間的近接性を表します。たとえば、同じ13分間車で移動する場合、キャンパス内では制限速度があるため短い距離しか歩けませんが、高架橋の上であれば長い距離を歩くことができます。

したがって、単一の空間近接性メトリックが使用される場合、特定の制限が存在します。したがって、私たちは、複数の距離測定値を結合して空間的近接性を最適に表現する距離融合関数の確立を試みています。

上の方程式に従って、2 点間のいくつかの「距離」を結合して、2 点間の真の空間的近接値のより適切かつ正確な表現を形成します。

しかし、この方程式には問題もあります。fsp は複数の異なる次元で統一する必要がある距離表現です。たとえば、移動時間とユークリッド距離の単位自体が異なり、桁が大きく異なるため、通常の関数に依存するだけでは結合効果を十分に実現できない場合があります。この点について、空間近接ニューラルネットワークSPNNを構築し、これらの距離を統一された空間近接メトリックにマッピングします。

その後、このニューラルネットワークをトレーニングすることで、特定の関数の計算をデータ駆動型のフィッティングプロセスに変換できます。これが、ニューラルネットワークを使用して空間的近接性を最適化するという私たちのアイデアです。

2 つのニューラルネットワークを接続して OSP-GNNWR を形成する

空間的近接性は抽象的な概念であり、真の値を持たないため、たとえば、点 a と点 b が与えられた場合、a と b の間の空間的近接性が特定の値 x であるとは言えず、その結果、SPNN 損失関数は使用できなくなります。定義上、トレーニングすることはできません。

私たちの解決策は、SPNN の出力は GNNWR の距離入力として直接使用され、2 つのニューラルネットワークが接続されて統合された全体を形成します。これを空間近接測定を最適化する地理的ネットワーク重み付け回帰 (osp-GNNWR) と呼びます。

このモデルによれば、サンプル推定値の誤差を通じてネットワーク全体を直接訓練することができ、最終従属変数 y の近似値と付加価値誤差を損失関数として使用してネットワークを直接訓練することができます。ネットワーク全体がトレーニングされており、前の SPNN も同時にトレーニングされているため、SPNN の解問題が解決され、回帰タスクが完了しました。

武漢の住宅価格を例に挙げると、osp-GNNWRは住宅価格の空間的不均一性について新たな説明を提供している。

武漢の住宅価格を例に挙げると、私たちは968件の独立した武漢不動産中古住宅取引データを選択し、85:15の比率でトレーニングセットとテストセットに分割しました。これらのデータから、住宅価格モデリングで一般的に使用されるヘドニック価格手法を使用して、住宅の基本情報、周辺の補助施設、交通の利便性などを含む 3 カテゴリー 10 個の独立変数を選択しました。これに基づいて、OSP-GNNWR モデルを構築するための SPNN の入力距離としてユークリッド距離と移動時間を選択します。

以下の図に示すように、最適化された空間近接測定では、図内の各点の色はフィッティング結果の残りの差を表し、オレンジ色は、osp-GNNWR のフィッティング効果が元の GNNWR モデルよりも優れていることを示します。結果として最適化された空間的近接性とユークリッド距離の差を表します。

図aに見られるように、都市エッジエリアではOSPとユークリッド距離の差が大きく、道路網構造の影響により、特に低い方向の差異が見られます。赤い矢印の方向の値違いは主に、この方向が武漢二環高速道路と一致するという事実によるものです。これは、OSP の構築に使用されるユークリッド距離と移動時間のわずかな違いによって引き起こされます。

図bに見られるように、市の中心部では交通機関が充実しているため、どの方向に行っても、各方向の空間的近接性が比較的バランスが取れています。したがって、osp とユークリッド距離の差は、より規則的な同心円状の分布を示します。

OSP とユークリッド距離のこれらの微分特性により、また、空間的近接対策を最適化することの実際的な重要性を実証することもできました。

住宅価格のモデリング結果に基づいて、大学の距離が住宅価格に及ぼす影響を研究するなど、回帰係数の空間的不均一性についてさらに議論することができます。

下の図に示すように、武漢市紅山区中心部の UA パラメータは他の地域に比べて大幅に高くなっています。これは、大学がその地域の住宅価格にプラスの影響を与えていることを示しています。つまり、教育機関に近づくほど住宅価格が上昇するということです。さらに、これらの大学や科学研究機関は、より良い住みやすい環境をもたらし、より豊かな賃貸市場を生み出しました。

小さなモデルにも大きな意味がある

上記の研究では大規模なモデルは使用しませんでしたが、現在では大規模なニューラルネットワークモデルやディープネットワークモデルなどが非常に人気がありますが、小規模なモデルも依然として実用的な意味を持っています。それほど多くのコンピューティング能力と豊富なデータセットサンプルがない場合、小さくて美しいモデルを設計することは、特定の問題を解決するのに非常に役立ちます。

最後に参考文献をいくつか紹介しますので、興味があればご覧ください。

召喚命令

HyperAI (hyper.ai) は、データサイエンス分野における中国最大の検索エンジンであり、科学のための AI の最新の研究結果に長年重点を置き、トップジャーナルに掲載された 100 以上の学術論文を解釈してきました。

AI for Science に関する研究と探求を行っている研究グループや研究チームから、最新の研究結果を共有したり、詳細な解釈の記事を提出したり、AI4S のライブブロードキャストコラムに参加したりするための連絡を歓迎します。AI4S を促進するその他の方法は次のとおりです。一緒に探検するのを待っています！

WeChat を追加: Neurostar (WeChat ID: Hyperai01)

小型モデルにとっては大きな進歩です。ニューラル ネットワークは空間的異質性を見抜き、複雑な地理的現象を正確に記述します