表現、比較、学習：クラス無関係カウントを実現する類似度に配慮したフレームワーク

クラス無差別カウンティング（Class-agnostic Counting: CAC）は、少数の例示画像（exemplars）を提示された条件下で、クエリ画像内のすべてのインスタンスをカウントすることを目的としています。標準的なパイプラインでは、例示画像から視覚特徴を抽出し、それらをクエリ画像と照合することで、物体の数を推定します。このパイプラインにおける2つの重要な要素は、特徴表現と類似度メトリックです。従来の手法は、事前に学習されたネットワークを用いて特徴を表現するか、新たな特徴表現を学習する一方で、固定された内積に基づく単純な類似度メトリックを用いています。本研究では、このアプローチがノイズの多い類似度マッチングを引き起こし、結果としてカウンティング性能を低下させることを明らかにしました。そこで本研究では、特徴表現と類似度メトリックを同時に学習する「類似度に配慮したCACフレームワーク」を提案します。まず、学習可能な双線形類似度メトリックを核心とする、シンプルなベースラインとして「双線形マッチングネットワーク（Bilinear Matching Network: BMNet）」を構築しました。さらに、本フレームワークの本質をより明確に表現するため、BMNetを拡張したBMNet+を提案しました。BMNet+は類似度を以下の3つの観点からモデル化します：1）インスタンスの自己類似性を用いた表現により、クラス内変動に対する特徴のロバスト性を向上させる；2）動的に類似度を比較することで、各例示画像の重要なパターンに焦点を当てる；3）教師信号から学習することで、マッチング結果に明示的な制約を課す。最近のCACデータセットFSC147における広範な実験の結果、本研究で提案するモデルは、最先端のCACアプローチを顕著に上回る性能を達成しました。さらに、車両カウンティングデータセットCARPKを用いた実験により、BMNetおよびBMNet+の汎化能力（クロスデータセット適合性）も検証しました。コードはtiny.one/BMNetにて公開されています。