HyperAIHyperAI

Command Palette

Search for a command to run...

オープンボリューム意味セグメンテーションのためのサイドアダプターネットワーク

Mengde Xu Zheng Zhang Fangyun Wei Han Hu Xiang Bai

概要

本稿では、事前学習済みの視覚言語モデルを活用したオープンボリュームセマンティックセグメンテーションのための新規フレームワーク、Side Adapter Network(SAN)を提案する。本手法は、セマンティックセグメンテーションタスクを領域認識問題として定式化する。固定されたCLIPモデルに、二本のブランチを持つ補助ネットワーク(サイドネットワーク)を接続する。一方のブランチはマスク提案の予測を行い、他方のブランチは、CLIPモデル内でマスクのクラスを認識するために適用されるアテンションバイアスを予測する。この分離型設計により、CLIPモデルがマスク提案のクラスをより正確に認識できるようになる。また、接続されたサイドネットワークはCLIPの特徴量を再利用できるため、非常に軽量な構成となる。さらに、全体のネットワークをエンドツーエンドで学習可能であり、サイドネットワークが固定されたCLIPモデルに適応できるため、予測されるマスク提案はCLIPに適応した性質を持つ。本手法は高速かつ高精度であり、追加の学習可能なパラメータはわずかにしか増加しない。複数のセマンティックセグメンテーションベンチマークにおいて本手法を評価した結果、他の手法と比較して顕著に優れた性能を示し、学習可能なパラメータが最大で18分の1に削減され、推論速度が最大で19倍高速化された。本研究のアプローチが、オープンボリュームセマンティックセグメンテーション分野における堅実なベースラインとして機能し、今後の研究を促進することを期待する。コードはhttps://github.com/MendelXu/SANにて公開される予定である


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
オープンボリューム意味セグメンテーションのためのサイドアダプターネットワーク | 記事 | HyperAI超神経