Command Palette
Search for a command to run...
衛星時系列からの作物マッピングのためのマルチモーダル時系列アテンションモデル
衛星時系列からの作物マッピングのためのマルチモーダル時系列アテンションモデル
Vivien Sainte Fare Garnot Loic Landrieu Nesrine Chehata
概要
光学衛星画像とレーダー衛星画像の時系列データは相乗効果を発揮する。光学画像は豊富なスペクトル情報を含む一方、Cバンドレーダーは有用な幾何学的情報を捉え、雲被覆の影響を受けないという利点を持つ。近年、複数の作物マッピングタスクにおいて時系列アテンションに基づく手法が成功を収めたことに触発され、本研究ではこれらのモデルが複数のモダリティ(データ形式)にどのように適応可能かを検討する。我々は、新規の融合手法および学習プロセスへのシンプルな調整を含む複数の融合スキームを実装・評価した。これらのアプローチにより、追加的な複雑性をほとんど増加させることなく、性能と効率が顕著に向上した。また、多くの融合スキームにはそれぞれ利点と欠点があることが明らかとなり、特定の用途に応じて適した選択が可能であることが示された。さらに、パッチ分類、ピクセルベースのセグメンテーション、パンタピックパッチセグメンテーションという複数のタスクにおいて、マルチモーダル性の効果を評価した。その結果、光学時系列とレーダー時系列の両方を活用することで、単一モーダルモデルに比べて性能と雲被覆に対する耐性の面で優れた結果が得られることを示した。本研究の実験を実現するため、PASTISデータセットに空間的に整合されたレーダー画像時系列データを拡張した。その結果得られたデータセット「PASTIS-R」は、意味的・インスタンスラベルを備えた、大規模かつマルチモーダル、かつオープンアクセス可能な衛星時系列データセットとして、世界初のものである。