Command Palette

Search for a command to run...

4ヶ月前

SAVE:視覚埋め込みにおける自己注意機構を用いたゼロショット一般的オブジェクト数え上げ

{Nizar Bouguila Wassim Bouachir Ahmed Zgaren}

要約

ゼロショットカウンティングは、任意のクラスに属するオブジェクトを入力画像内で数えることを目的とする「汎用視覚オブジェクトカウンティング」のサブカテゴリである。少数ショットカウンティングは、類似クラスのオブジェクトをカウントするための例示例(エクサンプル)をモデルに提供するのに対し、ゼロショットカウンティングはこのプロセスを自動化することで、より高速な処理を実現する。本研究では、ゼロショットおよび少数ショット手法を上回る完全自動化型のゼロショット手法を提案する。事前に学習された検出ベースのバックボーンから得られる特徴マップを活用し、オブジェクトの文脈情報を含んだ意味的埋め込み(semantic embeddings)を生成する新たな「視覚埋め込みモジュール(Visual Embedding Module)」を導入した。得られた埋め込みは、自己注意機構(Self-Attention Matching Module)に供給され、カウンターヘッド用の符号化表現を生成する。提案手法は、最近のゼロショット手法を上回り、FSC147データセットにおいて平均絶対誤差(MAE)8.89、平均二乗誤差(RMSE)35.83という、最新の結果を達成した。さらに、少数ショット手法と比較しても競争力ある性能を示しており、木の数え上げや野生動物の個体数カウントなど、さまざまな産業応用分野における視覚的オブジェクトカウンティングの能力を大幅に向上させている。

ベンチマーク

ベンチマーク方法論指標
exemplar-free-counting-on-fsc147SAVE
MAE(test): 8.92
MAE(val): 8.89
RMSE(test): 80.39
RMSE(val): 35.83
few-shot-object-counting-and-detection-on-1SAVE
MAE(test): 8.92

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
SAVE:視覚埋め込みにおける自己注意機構を用いたゼロショット一般的オブジェクト数え上げ | 論文 | HyperAI超神経