要約
ゼロショットカウンティングは、任意のクラスに属するオブジェクトを入力画像内で数えることを目的とする「汎用視覚オブジェクトカウンティング」のサブカテゴリである。少数ショットカウンティングは、類似クラスのオブジェクトをカウントするための例示例（エクサンプル）をモデルに提供するのに対し、ゼロショットカウンティングはこのプロセスを自動化することで、より高速な処理を実現する。本研究では、ゼロショットおよび少数ショット手法を上回る完全自動化型のゼロショット手法を提案する。事前に学習された検出ベースのバックボーンから得られる特徴マップを活用し、オブジェクトの文脈情報を含んだ意味的埋め込み（semantic embeddings）を生成する新たな「視覚埋め込みモジュール（Visual Embedding Module）」を導入した。得られた埋め込みは、自己注意機構（Self-Attention Matching Module）に供給され、カウンターヘッド用の符号化表現を生成する。提案手法は、最近のゼロショット手法を上回り、FSC147データセットにおいて平均絶対誤差（MAE）8.89、平均二乗誤差（RMSE）35.83という、最新の結果を達成した。さらに、少数ショット手法と比較しても競争力ある性能を示しており、木の数え上げや野生動物の個体数カウントなど、さまざまな産業応用分野における視覚的オブジェクトカウンティングの能力を大幅に向上させている。