HyperAI超神经

1. チュートリアルの概要

Prithvi-EO-2.0 は、IBM と NASA チームによって開発された第 2 世代の EO ベースモデルです。 Temporal ViT は、Masked AutoEncoder 学習戦略を使用し、4.2M の調整された Landsat Sentinel 2 (HLS) サンプル (各サンプルには 4 つのタイムスタンプが含まれています) でトレーニングされます。このモデルには、複数のチャンクとタイムスタンプにわたる空間的および時間的な注意メカニズムが含まれています。さらに、時間と場所の情報が埋め込みを通じてモデル入力に追加されます。このモデルの詳細については、ここ。

このチュートリアルでは、デモとして Prithvi-EO-2.0-300M モデルを使用し、コンピューティングリソースには RTX 4090 を使用します。

このデモでは、1 ～ 4 つのタイムスタンプからの画像再構築プロセスを示します。モデルは画像の一部をランダムにマスクし、マスクされていない部分に基づいて画像を再構築します。再構築された画像は、目に見えるマスクされていない画像パッチと結合されます。処理を高速化するには、約 224 ～ 1000 ピクセルのサイズの画像を送信することをお勧めします。 224×224 より大きい画像はスライディングウィンドウアプローチを使用して処理されますが、画像パッチ間にアーティファクトが発生する可能性があります。

ユーザーは、青、緑、赤、狭帯域近赤外線 (NIR)、短波赤外線 (SWIR)、短波赤外線 2 (SWIR 2) の反射率単位のチャネルを含む HLS geotiff 画像を提供する必要があります。位置情報は tif ファイルから抽出でき、時間情報は「T」または「T」（HLS 形式）の形式を使用してファイル名に提供できます。