12日前

ポイントセグメントとカウント:オブジェクトカウンティングのための汎用フレームワーク

{Hongming Shan, Junping Zhang, Yi Zhang, Mingliang Dai, Zhizhong Huang}
ポイントセグメントとカウント:オブジェクトカウンティングのための汎用フレームワーク
要約

クラスに依存しないオブジェクトカウントは、例示ボックスやクラス名に基づいて画像内のすべてのオブジェクトを数えることを目的とし、いわゆる少サンプル(few-shot)およびゼロショット(zero-shot)カウントに該当する。本論文では、検出に基づく少サンプルおよびゼロショットオブジェクトカウントの両方に対応する汎用的なフレームワークを提案する。本フレームワークは、ゼロショット能力を損なうことなく、2つの基礎モデル(foundation models)の優れた特長を統合することを目的としている:(i) SAMを用いてすべての可能なオブジェクトをマスク候補としてセグメンテーションし、(ii) CLIPを用いて候補を分類することで、正確なオブジェクト数を取得する。しかし、このアプローチは計算効率の低下および小型で密集したオブジェクトの局所化・識別が困難なという課題に直面する。これらの問題に対処するために、本研究では「PseCo」と名付けられたフレームワークを提案し、以下の3段階のプロセスに従う:ポイントによるセグメンテーションとカウント。具体的には、まず、SAMに必要な最小限のポイントプロンプトを提供するクラスに依存しないオブジェクト局所化手法を提案する。これにより、計算コストの削減が可能となるとともに、小型オブジェクトの漏れを回避できる。さらに、階層的な知識蒸留(hierarchical knowledge distillation)を用いて、CLIPの画像・テキスト埋め込みを分類器として活用する汎用的なオブジェクト分類手法を提案し、階層的なマスク候補間での判別性の高い分類を実現する。FSC-147、COCOおよびLVISにおける広範な実験結果から、PseCoが少サンプル/ゼロショットオブジェクトカウントおよび検出において、現在の最先端(state-of-the-art)性能を達成していることが示された。

ポイントセグメントとカウント:オブジェクトカウンティングのための汎用フレームワーク | 最新論文 | HyperAI超神経