HyperAIHyperAI

Command Palette

Search for a command to run...

Few-Shot セグメンテーションにおけるコスト集約はすべてが必要である

Sunghwan Hong Seokju Cho Jisu Nam Seungryong Kim

概要

本研究では、クエリ画像とサポート画像間の高次元相関マップを効率的に処理するため、畳み込みとトランスフォーマーの両方を活用する新しいコスト集約ネットワーク「ボリュメトリックアグリゲーション with Transformers(VAT)」を提案する。具体的には、相関マップをより扱いやすいサイズに変換するとともに、畳み込みモデルに内在するインダクティブバイアスを導入する「ボリューム埋め込みモジュール」と、コスト集約を担う「ボリュメトリックトランスフォーマーモジュール」から構成されるエンコーダーを設計した。本エンコーダーは、粗いレベルの集約が細かいレベルの集約を指導するように、ピラミッド構造を採用しており、補完的なマッチングスコアの学習を促進する。その後、この出力を、投影された特徴マップとともに、アフィニティに敏感なデコーダーへ入力し、セグメンテーションプロセスをガイドする。これらのモジュールを統合した本手法は、多数の実験を通じて有効性を実証し、少サンプルセグメンテーションタスクにおけるすべての標準ベンチマークで、新たな最先端性能(SOTA)を達成した。さらに、本手法は特にこのタスクに最適化されていないにもかかわらず、セマンティック対応タスクの標準ベンチマークにおいても、最先端の性能を達成することが明らかになった。また、アーキテクチャ選定の妥当性を検証するため、広範なアブレーションスタディを実施した。学習済み重みおよびコードは以下のURLから公開されている:https://seokju-cho.github.io/VAT/


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Few-Shot セグメンテーションにおけるコスト集約はすべてが必要である | 記事 | HyperAI超神経