12 天前

SAVE:基于视觉嵌入的自注意力机制用于零样本通用目标计数

{Nizar Bouguila, Wassim Bouachir, Ahmed Zgaren}
摘要

零样本计数(Zero-shot counting)是通用视觉目标计数(Generic Visual Object Counting)的一个子领域,旨在对给定图像中任意类别对象进行计数。与依赖提供样本图像以计数相似类别对象的少样本计数方法不同,零样本计数通过自动化机制实现更高效的处理流程。本文提出了一种完全自动化的零样本计数方法,其性能超越了现有的零样本及少样本方法。该方法利用预训练检测型主干网络提取的特征图,引入了一种新型视觉嵌入模块(Visual Embedding Module),用于在对象上下文信息中生成语义嵌入。随后,这些嵌入被输入至自注意力匹配模块(Self-Attention Matching Module),以生成供头部计数器使用的编码表示。所提出的方法在FSC147数据集上取得了当前最优的性能表现,平均绝对误差(MAE)和均方根误差(RMSE)分别达到8.89和35.83。此外,该方法在性能上也展现出与少样本方法相当的竞争力,显著提升了视觉目标计数技术在多种工业应用场景中的实用性,例如树木计数、野生动物个体计数等。

SAVE:基于视觉嵌入的自注意力机制用于零样本通用目标计数 | 最新论文 | HyperAI超神经