2ヶ月前

汎化可能なシーン変更検出へ向け偰

Jaewoo Kim; Uehwan Kim
汎化可能なシーン変更検出へ向け偰
要約

現在の最先端のシーン変化検出(Scene Change Detection: SCD)手法は、十分に訓練された研究データにおいて優れた結果を達成していますが、未見の環境や異なる時間条件では信頼性が低下します。ドメイン内の性能は、未見の環境では77.6%から8.0%に、異なる時間条件下では4.6%にまで低下するため、汎化可能なSCDとベンチマークの開発が求められています。本研究では、未見ドメインでの性能と時間的一貫性を改善し、SCDへの需要増加に対応するための汎化可能なシーン変化検出フレームワーク(Generalizable Scene Change Detection Framework: GeSCF)を提案します。当手法は、ゼロショット設定で事前学習済みのSegment Anything Model (SAM) を活用します。これにより、初期疑似マスク生成と幾何学的意味論的マスクマッチングを設計し、ユーザガイドによるプロンプトと単一画像に基づくセグメンテーションを無指導で入力ペアのシーン変化検出にシームレスに転換することが可能となります。さらに、汎化可能性のあるSCD研究を促進するために、新たな評価指標と評価プロトコルと共に汎化可能なシーン変化検出(Generalizable Scene Change Detection: GeSCD)ベンチマークを定義しました。この過程で、多様な環境シナリオ(都市部、郊外、農村部など)を持つ挑戦的な画像ペアを集めたChangeVPRデータセットを導入しました。様々なデータセットにおける広範な実験結果から、GeSCFは既存のSCDデータセットで平均19.2%の性能向上を達成し、ChangeVPRデータセットでは30.0%の性能向上を達成し、従来技術の性能をほぼ倍増させていることが示されました。我々は本研究が堅固かつ汎化可能なSCD研究の基盤となることを確信しています。

汎化可能なシーン変更検出へ向け偰 | 最新論文 | HyperAI超神経