MMSFormer: 多モーダルトランスフォーマーによる物質分割と意味分割

異なるモダリティ間での情報の活用は、マルチモーダルセグメンテーションタスクの性能向上に寄与することが知られています。しかし、各モダリティの独自性により、異なるモダリティからの情報を効果的に融合することは依然として困難です。本論文では、異なるモダリティ組み合わせからの情報を効果的に融合する新しい戦略を提案します。また、提案された融合戦略を取り入れた新しいモデル「マルチモーダルセグメンテーショントランスフォーマー（MMSFormer）」を導入し、マルチモーダルな材質と意味セグメンテーションタスクを実行します。MMSFormerは3つの異なるデータセットで現行の最先端モデルを上回る性能を示しています。1つの入力モダリティから始めて、追加のモダリティが組み合わさることで性能が段階的に向上することから、融合ブロックが多様な入力モダリティから有用な情報を結合する効果性が明らかになりました。アブレーションスタディでは、融合ブロック内の異なるモジュールが全体的なモデル性能にとって重要であることが示されています。さらに、アブレーションスタディは異なる入力モダリティが異なる材質の識別性能向上に寄与する能力も強調しています。コードと事前学習済みモデルはhttps://github.com/csiplab/MMSFormer で公開される予定です。