SiamixFormer: 二重時刻融合を用いた完全トランスフォーマー型シアミーズネットワークによる高精度な建物検出と変化検出

リモートセンシング画像を用いた建物検出と変化検出は、都市計画や救済活動に貢献します。さらに、これらの技術は自然災害後の建物被害評価にも利用できます。現在、建物検出のための既存モデルの多くは、災害前の画像のみを使用して建物を検出しています。これは、災害後の画像には破壊された建物が含まれているため、モデルの性能が低下すると考えられているからです。本論文では、SiamixFormerと呼ばれる双子ネットワークモデルを提案します。このモデルは、災害前後の画像を入力として使用し、2つのエンコーダーと階層的なトランスフォーマー構造を持っています。両方のエンコーダーにおける各段階の出力は、特徴量融合のために一時的なトランスフォーマー（テンポラルトランスフォーマー）に与えられます。ここで、クエリは災害前の画像から生成され、(キー, バリュー)は災害後の画像から生成されます。これにより、特徴量融合において時間的な特徴も考慮されます。また、テンポラルトランスフォーマーを使用した特徴量融合の利点は、CNNよりもトランスフォーマーエンコーダーによって生成される大きな受容野をよりよく維持できることです。最後に、各段階でテンポラルトランスフォーマーの出力は単純なMLPデコーダーに与えられます。SiamixFormerモデルはxBDおよびWHUデータセットで建物検出の評価を行い、LEVIR-CDおよびCDDデータセットで変化検出の評価を行いました。その結果、最先端技術を上回る性能を示しました。