HyperAIHyperAI

Command Palette

Search for a command to run...

表示、比较与学习:一种面向类别无关计数的相似性感知框架

Min Shi Hao Lu Chen Feng Chengxin Liu Zhiguo Cao

摘要

无类别计数(Class-agnostic Counting, CAC)旨在仅通过少量样本(exemplars)对查询图像中的所有目标实例进行计数。标准的处理流程通常包括:从样本图像中提取视觉特征,并将其与查询图像进行匹配,以推断目标数量。该流程中的两个关键组成部分是特征表示与相似性度量。现有方法要么采用预训练网络进行特征表示,要么学习新的特征表示方式,但普遍使用基于固定内积的简单相似性度量。我们发现,这一范式会导致相似性匹配过程引入噪声,从而损害计数性能。为此,本文提出一种相似性感知的无类别计数框架(similarity-aware CAC framework),该框架能够联合学习特征表示与相似性度量。我们首先构建一个基础模型——双线性匹配网络(Bilinear Matching Network, BMNet),其核心是可学习的双线性相似性度量。为进一步体现框架的核心思想,我们将BMNet扩展为BMNet+,从三个维度建模相似性:1)通过利用实例自身的自相似性来表示其特征,以增强对类内变化的鲁棒性;2)动态地比较相似性,聚焦于每个样本的关键特征模式;3)引入监督信号进行学习,对匹配结果施加显式约束。在近期提出的CAC数据集FSC147上的大量实验表明,我们的模型显著优于当前最先进的CAC方法。此外,我们还在汽车计数数据集CARPK上验证了BMNet与BMNet+在跨数据集场景下的泛化能力。代码已开源,地址为:tiny.one/BMNet。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供