北京師範大学のチームは、2,500 平方キロメートルの実生活データに基づいて、高空間解像度の画像予測を実現する StarFusion モデルを提案しました。
科学技術の波に押されて、伝統的な農業はインテリジェントな変革を遂げています。現代農業の「千里眼」として、農業用リモートセンシングは衛星やドローンなどのプラットフォームからリモートセンシングデータを収集し、作物の生育状況、土地利用と被覆の変化、害虫や病気、水資源管理、環境の監視に広く使用されています。農業環境の進化。農業用リモートセンシングは、意思決定者にリアルタイムで詳細な洞察を提供し、情報の正確性と将来を見据えた意思決定を保証します。
ただし、リモート センシング データを農業に応用するには、通常、高い空間分解能 (HSR) と頻繁な観察が必要です。光学衛星画像の再訪問サイクルや雲汚染などの要因によって制限されるため、作物の成長を監視する衛星の能力はしばしば深刻な影響を受けます。
高時空間解像度の合成画像を取得するために、多くの時空間融合手法が開発されていますが、モデルの開発と検証に関しては、既存の手法は主に中空間解像度と低空間解像度の衛星データの融合に焦点を当てています。中解像度および高空間解像度の画像では、その適用性には依然としてさまざまな課題があります。
これらの問題を解決するために、北京師範大学地球表面プロセス・資源生態学国家重点研究室のChen Jin氏のチームは、デュアルストリーム時空分離融合アーキテクチャモデルStarFusionを提案した。このモデルは、従来の STF 手法と深層学習を組み合わせたもので、既存の深層学習アルゴリズムのほとんどがトレーニングに HSR 時系列画像を必要とするという問題を克服し、高空間解像度画像の予測を完全に実現します。
研究のハイライト:
* StarFusion は、Gaofen-1 と Sentinel-2 の衛星データを融合して、高空間および時間解像度の画像を生成します
* StarFusion は、深層学習ベースの超解像手法と部分最小二乗回帰モデルをエッジおよびカラーの重み付け損失関数と組み合わせることで、高い融合精度と良好な空間詳細を維持します。
* StarFusion モデルは、3 つの異なる領域の実験場所で、従来の時空間融合手法や深層学習ベースの手法よりも優れた全体的なパフォーマンスと時間伝達性を示しました。
用紙のアドレス:
https://doi.org/10.34133/remotesensing.0159
データセットのダウンロードアドレス:
https://go.hyper.ai/LGmkW
オープンソース プロジェクト「awesome-ai4s」は、100 を超える AI4S 論文の解釈をまとめ、大規模なデータ セットとツールを提供します。
https://github.com/hyperai/awesome-ai4s
データセット: 山東省の 2 つの県に基づく、Gaofen-1 衛星データと Sentinel-2 衛星データの統合使用
この研究では、それぞれ同じ地理的領域をカバーする Gaofen-1 衛星と Sentinel-2 衛星からのデータセットを使用した包括的な評価実験を設計しました。
*研究場所
調査は山東省費県と運城県で実施されました。調査地域は約 2,567 平方キロメートルの面積をカバーしており、さまざまな種類の土地被覆があります。景観の多様性を確保するために、研究では 3 つのサブ地域を実験場所として特定しました。これらの地域は農地、水域、道路、建物が混在しており、地域内の景観の不均一性も明らかな違いを示しています。
* データの前処理
以下の表に示すように、この研究では主に Gaofen-1 衛星を使用して解像度 2 メートルの比較的鮮明な画像を生成し、センチネル 2 衛星を使用して解像度 10 メートルの比較的粗い画像を生成しました。その後、研究ではセンチネル 2 の画像を位置合わせし、Gaofen-1 のデータと一致する 2 メートルの空間解像度に地理補正しました。
Gaofen-1 と Sentinel-2 のスペクトル特性を調整するために、この研究では線形回帰モデルを使用し、Sentinel データの各バンドを従属変数として、対応する Gaofen-1 データ バンドを独立変数として使用して、単変量を構築しました。次に、構築されたモデルの傾きと切片が、各バンドの Gaofen-1 画像の各ピクセルに適用されました。このフィッティング プロセスにより、変換された Gaofen-1 画像が Sentinel-2 のスペクトル応答を厳密に反映し、それらの間のスペクトルの不一致が効果的に低減されます。
StarFusion: SRGAN と PLSR を統合し、ECW 重み付け機能を追加したモデル
下図に示すように、StarFusion は基準日 (T1) に取得された Gaofen-1 のデータと、基準日 (T1) および予測日 (T2) に取得された Sentinel-2 のデータを融合します。収集したデータに基づいて、StarFusion は SRGAN (Grad-SRGAN-STF) と PLSR の 2 つの融合モデルをデュアルストリームの時空間分離融合アーキテクチャに統合し、2 つのモデルを活用します。
本研究では、偏最小二乗回帰モデル（PLSR）部分において、スケール不変仮定（Scale invariant）に基づいたより自由度の高い多変数回帰関係モデルを確立し、時間変化をより正確に予測しました。 Gaofen-1 画像と比較して Sentinel-2 の空間解像度が低いことを考慮して、この研究では、粗い画像から細かい画像へのダウンスケーリング タスクを処理する勾配グラフ SRGAN モデル (Grad-SRGAN) も設計しました。
さらに、この研究では勾配グラフを備えた SRGAN-STF モデル (Grad-SRGAN-STF) も提案されました。以下の図に示すように、Grad-SRGAN-STF は時間転送パフォーマンス (Temporal transfer) に基づいており、主に 3 つの部分で構成されます。
1) ジェネレーター: 2 つの平行な表面粗さ SR (表面粗さ) パラメーターで構成され、1 つは粗い反射画像 (Ref-SR) を収集するために使用され、もう 1 つは粗い勾配画像 (Grad-SR) を収集するために使用されます。
2) 識別器: 2 つの独立した識別器、DRef と DGrad は、生成された反射画像と勾配マップがそれぞれ本物か偽物かを判断するように設計されています。
3) 損失関数: コンテンツ損失と敵対的損失の 2 つの部分で構成されます。ジェネレータの Ref-SR および Grad-SR の損失関数は、コンテンツ損失と敵対的損失の加重合計です。このうち、コンテンツロスは予測画像と参照画像の差異を評価するために使用でき、敵対的ロスは生成された画像が識別器によって実際の画像として認識される確率を測定できます。
さらに、この研究では、エッジおよびカラー ウェイト (ECW) と呼ばれる新しいウェイト関数も設計されました。 ECW は、SRGAN 法の強力な空間詳細回復機能と PLSR 法の正確な時間変化推定を組み合わせて、より正確な予測を提供します。
研究結果: StarFusion が最高のパフォーマンスを発揮し、Grad-SRGAN が最も貢献
実験 I: StarFusion は他のアルゴリズムと比較して最高の空間詳細忠実度を備えています
StarFusion の有効性を評価するために、この研究は 3 つのサブ領域で 2 つの異なる日に撮影された Gaofen-1 と Sentinel-2 の画像に基づいており、StarFusion を他の代表的なアルゴリズム (STARFM、FSDAF、Fit-FC、FIRST) と比較しています。とSRGAN）を比較しました。
結果は下の図に示されています。StarFusion メソッドによって予測された画像 (下図 G) は、参照画像 (下図 A) との顕著な類似性を示し、優れた空間詳細忠実度を示しています。対照的に、STARFM、FSDAF、Fit-FC、FIRST、および SRGAN によって生成された画像はすべて、ぼやけた領域の斑点を示しており、フィールドの境界は十分に明確ではありません。
さらに、以下の APA 図は次のことも示しています。StarFusion メソッドは、精度や空間詳細を大幅に損なうことなく、強力な空間転送機能を備えています。StarFusion は視覚的には「良い」範囲の端にありますが、そこには及ばず、将来的にパフォーマンスを向上させる余地があることを示唆していることは注目に値します。
実験 II: StarFusion は長期間にわたって最高の予測画質を持っています
サブ領域 3 は複雑な景観特徴を持っているため、この研究計画では、この領域の異なる基準日 (T1、T2、T3) の画像とその勾配マップを使用して、T4 の高解像度画像を予測します。同時に、この研究では GradSRGAN (Grad-SRGAN-Multi) モデルと StarFusion (StarFusion-Multi) モデルもトレーニングし、2 つのパフォーマンスを比較しました。
この研究では、予測日が基準日に近い場合、すべてのフュージョン手法が適切に機能しますが、期間が長くなると、STARFM、FSDAF、Fit-FC、FIRST、および SRGAN の画質が低下し、ぼやけや色の歪みが発生することがわかりました。起こる。 StarFusion は、異なる基準日の画像ペア入力の下で良好な空間詳細と色の忠実度を維持し、他の 5 つの方法よりも優れたパフォーマンスを発揮します。
また、StarFusion-Multi と Grad-SRGAN-Multi は、複数の画像ペアでトレーニングした場合、単一ペアの画像トレーニングよりも優れたパフォーマンスを発揮し、StarFusion-Multi は RMSE と Roberts エッジの点で Grad-SRGAN-Multi を上回っています。
実験 III: Grad-SRGAN は StarFusion に最大の貢献をしています
最後に、この研究では、Grad-SRGAN、PLSR、および ECW を含む、提案された StarFusion 方法の各部分の貢献を実証するために、サブ領域 1 でアブレーション研究も実施しました。結果は、Grad-SRGAN、PLSR、および ECW 関数の導入がすべて融合精度の向上に役立つことを示しています。その寄与という点では、Grad-SRGAN の導入が最も大きく寄与し、次に ECW 重み付け関数と PLSR が続きます。
AIの助けにより、農業リモートセンシングはインテリジェント運転の時代に突入
AI テクノロジーの継続的な発展により、デジタル農業は徐々に農業開発の新しいトレンドとなりつつあり、農業衛星リモートセンシング業界が従来のデータ依存モデルから AI を活用したインテリジェント駆動モデルに徐々に移行しつつある重要な時期にあります。レイアウトを核とする企業がますます増えており、この分野では競争が進行中です。
例えば、SenseTimeに代表される人工知能企業は、自社が独自に開発した大規模なベースモデルを利用してきた。リモートセンシング分野向けのAIリモートセンシング大型モデル「Shangtang Land Boundary」が発売され、耕作地区画、作物識別、非穀物要素識別の自動化、インテリジェンス、正規化が実現された。また、ファーウェイに代表される大手テクノロジー企業は、自社の Shengteng AI を使用して、武漢大学によるリモート センシング画像のインテリジェントな解釈のための特別なフレームワークである LuoJiaNet とリモート センシング サンプル ライブラリである LuoJiaSET の作成を支援しています。リモート センシング画像の自動解釈を加速し、インテリジェントなリモート センシング技術が農業、天然資源、その他の産業で広く使用できるようにします。
学術分野では、中国科学院リモートセンシング応用研究所と北京師範大学が共同で設立したリモートセンシング科学国家重点研究所を信頼し、この記事の著者であるチェン・ジン教授を含む多数の業界エリートが我が国に出現し、農業リモートセンシング技術の開発と進歩に徐々に重要な貢献をしつつあります。
同研究所は 1988 年に、リモート センシングと地上観測データに基づいて、作物の成長、収量、その他の関連情報を国規模および地球規模で独立して評価できる世界農業条件リモート センシング迅速報告システム (Cropwatch) を確立しました。 AI技術の助けを借りて、研究室は過去の期間に、AGARアルゴリズムに基づく新しい超高解像度光学森林3次元リモートセンシング手法や、山火事衛星監視および早期警報システムなど、多くの成果を発表しました。リモートセンシングAIアルゴリズムを搭載。
農業リモートセンシングにおける AI の応用は、農業生産の効率と精度を向上させるだけでなく、農業の持続可能な発展に対する強力な技術サポートも提供します。 AI は農業リモートセンシングでさらに広く使用され、植物の病気や害虫の監視、作物の成長条件や収量の評価、農業生産の効率的な管理と最適化のためのソリューションをますます提供することが予測されます。
最後に、学術的な共有活動をお勧めします。
Meet AI4S の 3 回目のライブ ブロードキャストには、上海交通大学自然科学アカデミーおよび上海国立応用数学センターの博士研究員である Zhou Ziyi 氏が招待されました。ライブブロードキャストを視聴するにはクリックして予約してください。
https://hdxu.cn/6Bjom hdxu.cn/6Bjom
